| Главная » Каталог сайтов » Интернет » Веб-мастеру | [ Добавить сайт ] |
| http://help.yandex.ru/webmaster/?id=995324 | 24.04.2011, 11:48 |
| Что такое робот поисковой системы Робот (англ. crawler) хранит список URL, которые он может проиндексировать, и регулярно выкачивает соответствующие им документы. Если при анализе документа робот обнаруживает новую ссылку, он добавляет ее в свой список. Таким образом, любой документ или сайт, на который есть ссылки, может быть найден роботом, а значит, и поиском Яндекса. Какие бывают индексирующие роботы В помощь основному есть быстрый робот — он предназначен для оперативного индексирования свежей, актуальной на данный момент информации. Если среди проиндексированных страниц своего сайта вы видите две копии какого-либо документа — скорее всего это означает, что помимо основного робота документ также был проиндексирован и быстрым роботом. О том, как различать роботов Яндекса в логах вашего сервера, смотрите на странице помощи. | |
| Всего комментариев: 0 | |
