Поисковый робот Google имеет User Agent — Googlebot, который является основным роботом, сканирующим содержание страницы для поискового индекса. Помимо него существуют ещё несколько специализированных роботов:
- Googlebot-Mobile — робот, индексирующий сайты для мобильных устройств,
- Google Search Appliance (Google) gsa-crawler — поисковой робот нового аппаратно-программного комплекса Search Appliance,
- Googlebot-Image — робот, сканирующий страницы для индекса картинок,
- Mediapartners-Google — робот, сканирующий контент страницы для определения содержания AdSense,
- Adsbot-Google — робот, сканирующий контент для оценки качества целевых страниц AdWords.
Существует теория эффекта песочницы, которая утверждает, что сайты, которые имеют новые доменные имена, частые смены владельцев или нэймсерверов, помещаются в «песочницу» (зону ожидания) и пребывают там, пока механизм Google не сочтёт сайт готовым из неё выйти.
Также существует обратная теория, называющаяся «бонус новичка», в которой при первоначальной индексации сайта, в силу некоторых аспектов (например нескольких ссылок с авторитетных ресурсов), сайту сразу присваивается высокий Page Rank и хорошие места в поисковой выдаче. По истечении некоторого времени, после снятия этого эффекта сайту присваиваются его реальные показатели.
