Skip to main content

Що таке Robots.txt

Robots.txt – файл з рекомендаціями для пошукових роботів, використовується в роботі seo спеціалістом. Наприклад, не індексувати певні сторінки сайту. Поміщається в кореневу директорію.

Файл robots.txt або індексний файл – звичайний текстовий документ в кодуванні UTF-8, діє для протоколів http, https, а також FTP. Файл дає пошуковим роботам рекомендації: які сторінки / файли варто сканувати.

Файл повинен розташовуватися в кореневому каталозі в вигляді звичайного текстового документа і бути доступним за адресою: https://site.com.ua/robots.txt. Без robots.txt та інформація, яка повинна бути прихована від сторонніх очей, може потрапити в видачу, а через це постраждаєте і ви, і сайт. Файл robots.txt створюється за допомогою блокноту, Notepad, Sublime, або будь-якого іншого текстового редактора.В зміст файлу повинні бути прописані інструкція User-agent і правило Disallow, до того ж є ще кілька другорядних правил.

Що таке Robots.txt термін визначення

Robots.txt визначення

Різні розділи цього файлу містять директиви, які відкривають або закривають доступ індексуючим ботам до розділів і сторінок сайту. Ніякі настройки robots.txt не впливають на обробку посилань на сторінки сайту з інших сайтів.

Robots.txt термін

Основна функція файлу robots.txt – розміщення вказівок для індексуючих роботів. Головні директиви robots.txt – Allow (дозволяє індексацію певного файлу або розділу) і Disallow (відповідно, забороняє індексацію), а також User-agent (визначає, до яких саме роботам ставляться дозвільні й заборонні директиви).

Стань ефективним інтернет маркетологом — запишись до нас на курси! Школа Інтернет Маркетингу: курси з найбільш популярних спеціальностей: інтернет маркетолог, SMM спеціаліст, SEO спеціаліст.

Leave a Reply

Close Menu

Школа Інтернет Маркетингу

Ярославський провулок, 1/3, Київ