— специальная программа, которая индексирует сайты.
Каждая поисковая система имеет свой набор ботов, каждый из которых отличается друг от друга по своему функциональному назначению. У каждой системы есть бот для текстов. Кроме того в некоторых поисковых системах имеется определенный набор роботов для изображений, видео, а также мобильного, новостного и блогового контента.
Роботы поисковой системы Google
Все боты в поисковой системе Google имеют общее название Googlebot. В зависимости от вида контента Googlebot бывают следующих видов:
1. Googlebot News — робот для быстрой индексации новостных порталов;
2. Googlebot Images — робот для быстрой индексации изображений;
3. Googlebot Video — бот для быстрой индексации изображений;
4. Google Mobile — робот для индексации мобильного контента;
5. Google Mobile AdSense и Google AdSense — роботы для быстрой индексации рекламных блоков;
6. Google AdsBot — робот для проверки качества целевой страницы сайта.
Роботы поисковой системы Яндекс
Yandex bot — это робот, которвый занимается индексацией веб-страниц сайта и их сохранением в поисковой базе Яндекса. После индексации каждой веб-странице сайта присваивается ТИЦ(тематический индекс цитирования).
Поисковая система Яндекс содержит самое большое количество ботов, среди которых можно выделить:
1. Mozilla/5.0 (compatible; YandexBot/3.0; +yandex.com/bots) — главный индексирующий бот;
2. Mozilla/5.0 (compatible; YandexImages/3.0; +yandex.com/bots) — робот для индексации картинок;
3. Mozilla/5.0 (compatible; YandexVideo/3.0; +yandex.com/bots) — робот для быстрой индексации видео;
4. Mozilla/5.0 (compatible; YandexMedia/3.0; +yandex.com/bots) — робот для индексации мультимедийных данных;
5. Mozilla/5.0 (compatible; YandexBlogs/0.99; robot; +yandex.com/bots) — робот для индексации постов и комментариев на блогах;
6. Mozilla/5.0 (compatible; YandexFavicons/1.0; +yandex.com/bots)— робот для индексации пиктограмм(favicons) сайтов ;
7. Mozilla/5.0 (compatible; YandexWebmaster/2.0; +yandex.com/bots)— робот сервиса Яндекс.Вебмастер;
8. Mozilla/5.0 (compatible; YandexImageResizer/2.0; +yandex.com/bots) — робот для индексации мобильных сервисов;
9. Mozilla/5.0 (compatible; YandexAdNet/1.0; +http://yandex.com/bots) — робот для индексации рекламы в поисковой системе Яндекс;
10. Mozilla/5.0 (compatible; YandexMetrika/2.0; +yandex.com/bots) — бот Яндекс.Метрики;
11. Mozilla/5.0 (compatible; YandexNews/3.0; +yandex.com/bots) — бот для индексации новостных порталов;
Робот Рамблера
Поисковый робот Рамблера называется StackRambler/2.0 (MSIE incompatible). Данный бот не указывает список медиатипов, не содержит поля Accept-Language и If-Modified-since.
Роботы Yahoo!
Поисковая система Yahoo! имеет следующие роботы:
1. Mozilla/5.0 (compatible; Yahoo! Slurp; help.yahoo.com) — основной поисковый бот Yahoo!
2. Yahoo-MMCrawler/3.x (mms dash mmcrawler dash support at yahoo dash inc dot com) — робот для индексации изображений;
3. Yahoo-Blogs/v3.9 (compatible; Mozilla 4.0; MSIE 5.5; help.yahoo.com ) — робот для индексации постов и комментариев блога.
Роботы MSN
Поисковая система MSN содержит набор следующих роботов:
1. msnbot/1.1 (+msnbot) — главный поисковый робот MSN
2. msnbot-media/1.1 (+msnbot) — робот для индексации мультимедийных файлов
3. msnbot-news (+msnbot) — робот для итндексации новостных порталов
4. msnbot-NewsBlogs/1.0 (+msnbot) — бот для индексации блогов
5. msnbot-Products/1.0 (+msnbot) — робот для индексаци товаров и шоппинга