Что такое robots.txt
Robots.txt — файл с рекомендациями для поисковых роботов, используется в работе seo специалистом. Например, не индексировать определённые страницы сайта. Помещается в корневую директорию.
Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать.
Файл должен располагаться в корневом каталоге в виде обычного текстового документа и быть доступен по адресу: https://site.com.ua/robots.txt. Без robots.txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт. Файл robots.txt создается с помощью блокнота, Notepad, Sublime, либо любого другого текстового редактора.В содержании файла должны быть прописаны инструкция User-agent и правило Disallow, к тому же есть еще несколько второстепенных правил.
Robots.txt определение
Различные разделы этого файла содержат директивы, которые открывают или закрывают доступ индексирующим ботам к разделам и страницам сайта. Никакие настройки robots.txt не влияют на обработку ссылок на страницы сайта с других сайтов.
Robots.txt термин
Основная функция файла robots.txt – размещение указаний для индексирующих роботов. Главные директивы robots.txt – Allow (разрешает индексацию определенного файла или раздела) и Disallow (соответственно, запрещает индексацию), а также User-agent (определяет, к каким именно роботам относятся разрешительные и запрещающие директивы).
Стань эффективным интернет маркетологом — запишись к нам на курсы! Школа Интернет Маркетинга: курсы по наиболее популярным специальностям: интернет маркетолог, SMM специалист, SEO специалист.
