Назад
Следующая

Файл robots.txt, как правильно настроить.

Файл robots.txt — текстовый файл в формате .txt, указывающий поисковым роботам, к какому содержимому у них есть доступ на сервере, а к какому нет. Как определение, robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинством поисковых систем.

Robots.txt, содержит важную для поисковых систем информацию, которую они проверяют, перед сканированием всех страниц сайта. Это помогает им более эффективно проводить процесс сканирования по каждому конкретному сайту. Необходимо отметить, что файл robots.txt, не является сто процентным указанием для поисковых систем, а служит лишь как рекомендательная информация.

Основные правила, которым необходимо следовать при создании и размещении файла robots txt на сервере, это:

  • Размещение в корневом каталоге сайта
  • Верное название файла – robots.txt (в нижнем регистре)
  • Отсутствие синтаксических ошибок в контенте файла

Стоит отметить, что написание файла robots.txt, не отличается в зависимости от CMS, на которой написан сайт. Будь то NespiCMS, OpenCart, Wordpress или Joomla, файл robots.txt, всегда будет написан одинаково.

Самое время, более подробно поговорить о том, что включает в себя содержимое файла robots.txt.

Содержимое robots – это директивы и указания поисковым роботам.

Например:
User-agent: *
Disallow: /control/
Host: https://www.mysite.com

В данном примере, Вы запрещаете индексацию папки /control/ на сайте (www.mysite.com) всем поисковым роботам (*).

Давайте подробнее разберем пример:

  • User-agent – название поискового робота
  • Disallow – указатель, который дает понять роботу, что именно запрещено к индексации
  • Host – основной адрес сайт (сайты на разных протоколах https и http, а также с www и без – это разные сайты для поисковых систем)

Второй пример:
User-agent: Yandex
Disallow: /myimages/
Host: www.mysite.com

Запрет индексации для поискового робота Yandex, индексации папки /myimages/ сайта www.mysite.com.

Третий пример:
User-agent: SomeBot
Disallow:
User-agent: *
Disallow: /

В данном примере, сайт разрешен к индексированию только одним ботом (SomeBot), остальным ботам индексирование запрещено.

Главное, при создании файла robots.txt, не запретить индексирование Вашего сайта всем ботам. В этом случае, позиции сайта, очень быстро просядут, и Вам придется потратить большое количество времени для их восстановления.

Блог
Работа в веб студии, digital агентстве. Какие вакансии актуальны?
10.08.2019
Работа в онлайн среде набирает все большей популярности и востребованности, что не удивительно. Практически каждый бизнес стремится, если не создать полноценный ресурс для заработка в интернете, то, как минимум, иметь в нем свое представительство в виде небольших сайтов визиток.
Обзор видов офлайн рекламы
20.12.2019
Несмотря на стремительное смещение активности бизнеса в интернет среду, оффлайн методы продвижения не теряют свою актуальность. Люди все так же живут в реальном мире, и окружающие их методы коммуникации остаются не менее эффективными, нежели диджитал маркетинг. Оффлайн реклама – метод, проверенный годами, так как появился намного раньше онлайн продвижения. В связи с этим он имеет ряд преимуществ, а его применение более понятно и даже имеет классические особенности, чего не скажешь о новых, модных и прогрессивных онлайн взаимодействиях.
Заработок на блогах: особенности и составление контент-плана
15.01.2019
Блог – настоящая возможность для заработка в интернете. Это слово пошло от словосочетания «web log», которое переводится, как «онлайн дневник». Привычные записи от руки на бумаге превращаются в публичное высказывание своего мнения в виде публикаций в социальных сетях.
Продолжая просматривать kebeta.agency, вы подтверждаете, что ознакомились с Правилами использования сайта, и соглашаетесь на использование файлов cookie