Что такое robots.txt

Robots.txt — файл с рекомендациями для поисковых роботов, используется в работе seo специалистом. Например, не индексировать определённые страницы сайта. Помещается в корневую директорию.

Файл robots.txt или индексный файл — обычный текстовый документ в кодировке UTF-8, действует для протоколов http, https, а также FTP. Файл дает поисковым роботам рекомендации: какие страницы/файлы стоит сканировать.

Файл должен располагаться в корневом каталоге в виде обычного текстового документа и быть доступен по адресу: https://site.com.ua/robots.txt. Без robots.txt та информация, которая должна быть скрыта от посторонних глаз, может попасть в выдачу, а из-за этого пострадаете и вы, и сайт. Файл robots.txt создается с помощью блокнота, Notepad, Sublime, либо любого другого текстового редактора.В содержании файла должны быть прописаны инструкция User-agent и правило Disallow, к тому же есть еще несколько второстепенных правил.

Что такое robots.txt термин определение

Robots.txt определение

Различные разделы этого файла содержат директивы, которые открывают или закрывают доступ индексирующим ботам к разделам и страницам сайта. Никакие настройки robots.txt не влияют на обработку ссылок на страницы сайта с других сайтов.

Robots.txt термин

Основная функция файла robots.txt – размещение указаний для индексирующих роботов. Главные директивы robots.txt – Allow (разрешает индексацию определенного файла или раздела) и Disallow (соответственно, запрещает индексацию), а также User-agent (определяет, к каким именно роботам относятся разрешительные и запрещающие директивы).

Стань эффективным интернет маркетологом — запишись к нам на курсы! Школа Интернет Маркетинга: курсы по наиболее популярным специальностям: интернет маркетолог, SMM специалист, SEO специалист.

Leave a Reply

Школа Интернет Маркетинга

Киев, пер. Ярославский, 1/3