Назад
Наступна

Файл robots.txt, як правильно налаштувати.

Файл & nbsp; robots.txt & nbsp; & mdash; текстовий файл у форматі .txt, який вказує пошуковим роботам, до якого вмісту у них є доступ на сервері, а до якого немає. Як визначення, robots.txt & nbsp; & mdash; це стандарт винятків для роботів, який був прийнятий консорціумом W3C 30 січня 1994 року, і який добровільно використовує більшістю пошукових систем.

Robots.txt, містить важливу для пошукових систем інформацію, яку вони перевіряють, перед скануванням всіх сторінок сайту. Це допомагає їм ефективніше проводити процес сканування по кожному конкретному сайту. Необхідно відзначити, що файл robots.txt, не є сто відсотковим зазначенням для пошукових систем, а служить лише як рекомендаційна інформація.

Основні правила, яких необхідно дотримуватися при створенні і розміщенні файлу robots txt на сервері, це:

  • Розміщення в кореневому каталозі сайту
  • Вірне назва файлу & ndash; robots.txt (в нижньому регістрі)
  • Відсутність синтаксичних помилок в контенті файлу

Варто відзначити, що написання файлу robots.txt, не відрізняється в залежності від CMS, на якій написаний сайт. Будь то NespiCMS, OpenCart, Wordpress або Joomla, файл robots.txt, завжди буде написаний однаково.

Саме час, більш докладно поговорити про те, що включає в себе вміст файлу robots.txt.

Вміст robots – це директиви і вказівки пошуковим роботам.

Наприклад:
User-agent: *
Disallow:/control/
Host:https://www.mysite.com</ p>

В даному прикладі, Ви забороняєте індексацію папки / control / на сайті ( www.mysite.com ) всіх пошукових роботів (*).

Давайте докладніше розберемо приклад:

  • User-agent – назва пошукового робота
  • Disallow – покажчик, який дає зрозуміти роботу, що саме заборонено до індексації
  • Host – основну адресу сайт (сайти на різних протоколах https і http, а також з www і без – це різні сайти для пошукових систем)

Другий приклад:
User-agent: Yandex
Disallow:/myimages/
Host:www.mysite.com

Заборона індексації для пошукового робота Yandex, індексації папки /myimages/ сайту www.mysite.com .

Третій приклад: </ strong>
User-agent: SomeBot
Disallow:
User-agent: *
Disallow:/

В даному прикладі, сайт дозволений до індексування тільки одним ботом (SomeBot), іншим роботам індексування заборонено.

Головне, при створенні файлу robots.txt, чи не заборонити індексування Вашого сайту всім роботам. В цьому випадку, позиції сайту, дуже швидко просядуть, і Вам доведеться витратити велику кількість часу для їх відновлення.

Оцените статью
Блог
Розробка сайту у Львові
22.11.2022
Неможливо уявити різновид бізнесу, що не потребує представлення в інтернет-мережі. Сьогодні це найбільш вигідний та ефективний спосіб розказати про свою компанію та знайти нових клієнтів.
Просування бренду в інтернеті з нуля.
06.05.2020
Ключовим об'єктом будь-якого бізнесу - є продукт. Продукт може бути як фізичним (молоко, трактор тощо), як послугою (юридичний супровід, таксі), так і віртуальним (електронна книга, відеокурси). Тому, для того що б почати будувати бізнес, в першу чергу необхідно визначитися з тим, що Ви запропонуєте Вашим покупцям.
Що таке digital case (кейс) і навіщо він потрібен.
20.04.2020
Напевно, найпопулярнішими словами останнього десятиліття в маркетингу можна назвати «digital» і «кейс». І це не дивно - технології зробили крок далеко вперед, ми живемо в цифровий час. Вся робота, кожен крок і будь-яка дія тепер фіксується в файлах різного формату, які легко можна скласти в гарну презентацію (якщо грубо) - case, і показати публіці. Давайте докладніше поговоримо про сучасні реалії: звідки з'явилися вищезгадані поняття, навіщо вони потрібні і яку користь можуть принести бізнесу.
Продовжуючи переглядати kebeta.agency, ви підтверджуєте, що ознайомилися з Правилами користування сайтом, і погоджуєтеся на використання файлів cookie