Веб-индексирование – процесс постоянного сбора информации с различных сайтов специальным роботом любой поисковой системы в собственную базу. Сведения используются при поиске информации и ранжировании сайтов в соответствии с запросами пользователя.
Данные о сайте, полученные в процессе периодического индексирования, обычно включают в себя ключевые слова, ссылки, документы, статьи. Существуют ограничения при индексации (робот не определяет flash и Javascript). Частота индексирования сайта (периодичность захода на сайт робота Яндекс, Google с целью сбора информации) определяется авторитетностью ресурса в глазах поисковой системы и регулярностью обновления информации на нем.
Веб-мастер или оптимизатор может управлять индексацией (запрещать переходы на отдельные страницы или исключать отдельные слова, фразы). Для этого используется файл robot.txt, теги <noindex>, <nofollow>.
Управление индексацией важно для интернет-магазинов, других сайтов, где на страницах расположено множество информации. Используется закрытие индексации для исходящих ссылок (если их количество велико), которые негативно сказываются на ранжировании сайта в поисковых системах.