Що таке Robots.txt
Robots.txt – файл з рекомендаціями для пошукових роботів, використовується в роботі seo спеціалістом. Наприклад, не індексувати певні сторінки сайту. Поміщається в кореневу директорію.
Файл robots.txt або індексний файл – звичайний текстовий документ в кодуванні UTF-8, діє для протоколів http, https, а також FTP. Файл дає пошуковим роботам рекомендації: які сторінки / файли варто сканувати.
Файл повинен розташовуватися в кореневому каталозі в вигляді звичайного текстового документа і бути доступним за адресою: https://site.com.ua/robots.txt. Без robots.txt та інформація, яка повинна бути прихована від сторонніх очей, може потрапити в видачу, а через це постраждаєте і ви, і сайт. Файл robots.txt створюється за допомогою блокноту, Notepad, Sublime, або будь-якого іншого текстового редактора.В зміст файлу повинні бути прописані інструкція User-agent і правило Disallow, до того ж є ще кілька другорядних правил.
Robots.txt визначення
Різні розділи цього файлу містять директиви, які відкривають або закривають доступ індексуючим ботам до розділів і сторінок сайту. Ніякі настройки robots.txt не впливають на обробку посилань на сторінки сайту з інших сайтів.
Robots.txt термін
Основна функція файлу robots.txt – розміщення вказівок для індексуючих роботів. Головні директиви robots.txt – Allow (дозволяє індексацію певного файлу або розділу) і Disallow (відповідно, забороняє індексацію), а також User-agent (визначає, до яких саме роботам ставляться дозвільні й заборонні директиви).
Стань ефективним інтернет маркетологом — запишись до нас на курси! Школа Інтернет Маркетингу: курси з найбільш популярних спеціальностей: інтернет маркетолог, SMM спеціаліст, SEO спеціаліст.
