Отличия поисковых систем от электронных каталогов

Следует отличать поисковые системы от поисковых каталогов. Поисковые системы используют для индексирования сайтов так называемых "поисковых роботов", спайдеров (от английского слова "spider", что значит "паук"). Робот - это небольшая программа, которая ходит по ссылкам на сайте и индексирует (собирает и запоминает) встреченную на пути информацию.

Принцип работы поисковых роботов приблизительно следующий: вы предоставляете поисковой системе точный адрес страницы, которую нужно зарегистрировать. Поисковая система проверяет, существует ли по этому адресу страница, и если да, то страничка вносится в "график посещения". Между временем, когда вы зарегистрировали страницу в поисковой системе и временем, когда вашу страничку посетит поисковый робот может пройти от нескольких минут до нескольких недель. Так что не спешите сразу же проверять наличие вашей страницы или сайта в поисковой системе.

Когда приходит "час Х", на вашу страничку посылается поисковый робот. Как правило, схема работы робота следующая: 1) робот ищет файл robots.txt, 2) робот читает страницу, для индексирования которой он был послан (глубина индексирования, то есть чтения страницы меняется от робота к роботу. Некоторые останавливаются только на чтении заглавия страницы и содержимого мета-тегов, другие могут прочитать, скажем первые 6000 символов на странице, а некоторые индексируют все содержание веб-страницы), 3) затем робот может либо удалиться либо продолжить индексирование сайта, 4) через какое-то время робот снова может посетить эту страничку, если существует тег "revisit" или в соответствии с политикой, проводимой поисковой системой.

Отличие каталогов от поисковых систем заключается в том, что каталоги не посылают никаких роботов, чтобы индексировать вашу страницу или веб-сайт. Наиболее известным каталогом является Yahoo.com.

Для регистрации в каталоге вам необходимо найти раздел, в который вы хотите поместить свою страницу, послать краткое описание сайта и список ключевых слов для поиска вашей страницы в каталоге. Затем эта информация просматривается и оценивается людьми, которые решают, стоит ли включать ваш информацию в каталог или нет.

Следует знать, что вам могут отказать в регистрации, ваш сайт могут поместить в другой раздел, могут быть изменены описание сайта и/или список его ключевых слов. Все зависит от модераторов.

Так как регистрация производится человеком, а не программой, то поиск по каталогам дает более релевантные результаты, нежели поиск по поисковым системам. Коренным отличием каталогов от поисковиков также является то, что поиск в них производится не по текстовой составляющей всех страниц сайта, а только по краткому описанию сервера и выбранным при регистрации ключевым словам.