— содержащий информацию и предписания для робота-поисковика, то есть «директивы», файл.
Для чего нужен robots.txt? Это файл, располагающийся в корневой директории сайта, в котором прописаны специальные указания (они называются директивами) для роботов-поисковиков. Именно к нему в первую очередь обращается робот при заходе на веб-ресурс.
Для чего прописываются директивы? Они могут запрещать к индексации определенные разделы сайта, указывают требуемое зеркало и так далее. Следует помнить, что этот файл носит рекомендательный характер.
Простейший роботс — это пустой текстовый файл, который следует загрузить в корневую директорию.
Основные дерективы robots.txt — это:
- User agent — здесь указываются роботы поисковых систем. Необходимо отметить, что значение * — означает все роботы, а для Яндекса желательно прописывать указания отдельно
- Disallow — запрещает к индексации определенные разделы или страницы сайта
- Allow — используется в случае, когда нужно разрешить индексацию определенных разделов или страниц сайта
- Host — формируется из главного зеркала Вашего сайта
- Sitemap — формируется из адреса sitemap.xml
Простейший robots.txt выглядит следующим образом:
User-agent: *
Disallow:
User-agent: Yandex
Disallow:
Sitemap: http://example.com/sitemap.xml
host: example.com