 Начиная
с нового года, в связи с проблемами на сайте, у меня появилась
необходимость просматривать логи. И тут возник вопрос - кто есть кто?
Как определить где робот, а где человек? Нашел информацию о том как
представляются роботы при посещении сайта.
Сегодня для того что бы
понять, что за робот заходил на сайт, нужно либо обладать феноменальной
памятью, либо обращаться к своим записям, либо идти на Яндекс.Помощь. Благодаря изменениям теперь легко можно будет определить по имени робота к какому сервису Яндекса он принадлежит.
Вот список новых User-Agent:
Mozilla/5.0 (compatible; YandexBot/3.0) — основной индексирующий робот.
Mozilla/5.0 (compatible; YandexBot/3.0; MirrorDetector) — робот, определяющий
зеркала сайтов.
Mozilla/5.0 (compatible; YandexImages/3.0) — индексатор Яндекс.Картинок.
Mozilla/5.0 (compatible; YandexVideo/3.0) — индексатор Яндекс.Видео.
Mozilla/5.0 (compatible; YandexMedia/3.0) — робот, индексирующий мультимедийные
данные.
Mozilla/5.0 (compatible; YandexBlogs/0.99; robot) — робот поиска по блогам,
индексирующий комментарии постов.
Mozilla/5.0 (compatible; YandexAddurl/2.0) — робот, обращающийся к странице при
добавлении ее через форму «Добавить URL».
Mozilla/5.0 (compatible; YandexFavicons/1.0) — робот, индексирующий пиктограммы
сайтов (favicons).
Mozilla/5.0 (compatible; YandexDirect/3.0) — робот, индексирующий страницы
сайтов, участвующих в Рекламной сети Яндекса.
Mozilla/5.0 (compatible; YandexDirect/2.0; Dyatel) — «простукивалка»
Яндекс.Директа.
Mozilla/5.0 (compatible; YandexMetrika/2.0) — робот Яндекс.Метрики.
Mozilla/5.0 (compatible; YandexCatalog/3.0; Dyatel) — «простукивалка»
Яндекс.Каталога.
Mozilla/5.0 (compatible; YandexNews/3.0) — индексатор Яндекс.Новостей.
Mozilla/5.0 (compatible; YandexImageResizer/2.0) — робот мобильных сервисов
|
