[ Новые сообщения · Участники · Правила форума · Поиск · RSS ]
Страница 1 из 11
Форум » Лаборатория WEB-мастера » Полезные скрипты для сайта » Узнаём кто из ботов поисковиков индексирует сайт (кто из ботов поисковиков индексирует сайт Google, Yandex)
Узнаём кто из ботов поисковиков индексирует сайт
БатяДата: Вторник, 21.02.2012, 18:57 | Сообщение # 1
Майор
Группа: Администраторы
Сообщений: 34
Репутация: 10
Статус: Offline
Иногда хочется узнать кто индексирует сайт быстрее всех, робот яндекса или робот гугла, сегодня мы узнаем как отслеживать поисковых роботов и при каждом посещении сайта одним из роботов отсылать нам на email письмо с тем какой робот зашёл и какую страницу он индексирует.

Скрипт довольно полезен для тех кто недавно вывел сайт в сеть и хочет узнать через какое время робот попадёт на сайт и попадёт ли он вообще. Так же отслеживать поисковых роботов данным скриптом будет полезно и при оптимизации сайта, когда вы изменяете структуру сайта или проводите внешнюю оптимизацию, полезно будет посмотреть на то как воспримет поисковой робот ваши действия.

Code
<?php
if ( strpos( $_SERVER['HTTP_USER_AGENT'],'Googlebot' ) !== false ) {
         $mail = 'ваш mail';
         mail($mail,'Googlebot for ваш сайт',
         'Googlebot посетил мою страницу на сайте ваш сайт: '.$_SERVER['REQUEST_URI']);
}
?>


Там где написано Googlebot мог быть другой USER_AGENT робота, например USER_AGENT яндекса который имеет вид YandexBot
Скрипт отслеживания поисковых роботов можно настроить под любой поисковой робот, вот несколько ботов которых вы сможете отслеживать:
StackRambler - Rambler
Slurp - Yahoo
MSNBot - MSN
ia_archiver - Alexa

Данный скрипт вставляется в начале страницы, вставлять скрипт нужно на все страницы за которыми вы хотите следить, делать это можно с помощью require_once();

Список большинства известных поисковых машин предоставлен ниже:

 
Форум » Лаборатория WEB-мастера » Полезные скрипты для сайта » Узнаём кто из ботов поисковиков индексирует сайт (кто из ботов поисковиков индексирует сайт Google, Yandex)
Страница 1 из 11
Поиск: