Каждый день на сайт заходят не только посетители-клиенты, но и поисковый робот. А вы знаете, какая разница в поведении простого юзера и в поведении поискового робота на вашем сайте?
1. Возможность управлять. Так, робот обязан сделать запрос на специальный файл под названием robots.txt, в котором содержится инструкция по индексации. Поэтому в силах модератора прописать страницы, на которые роботу лучше не заходить. Чаще это страницы, которые не содержат полезной поисковой информации.
2. Выкачка данных выборочно. Если робот подает запрос, то, как правило, его интересует конкретный тип документов, а вот браузер принимает все без разбора. В основном поисковые роботы чаще всего запрашивают обычные текстовые или, к примеру, гипертекстовые документы. Сегодня также пользуются популярностью материалы в формате PDF, MS Word, Exel и другие. Далеко не каждый живой пользователь будет их просматривать. Если посетителю не нравится внешний вид сайта или контент на первый взгляд, он не задержится в поисках нужного, но "глубже".
3. Непредсказуемый робот. Нельзя предсказать действия робота, он просто требует определенные виды документов, даже не оставляя при этом информации, откуда же он посетил данный ресурс. Может показаться, что запрос делается случайно, но на самом деле машина все делает согласно своему внутреннему списку или по очереди индексирования.
4. Большая скорость. Имеется в виду, что роботы совершают свои запросы очень быстро (секунда, а иногда и меньше), поэтому для некоторых роботов выставляют ограничения по скорости, так как можно просто перегрузить ресурс.
Неизвестно, как видит веб-страницу робот, но можно примерно это представить, если полностью отключить графические элементы.
