Поисковый робот это программа которая обходит "весь интернет" Есть такое понятие как "период обхода" это время потраченное на индексирование всего интернета. В лоб решить такую задачу нельзя, по этому принимаются меры по уменьшению работы. Сайты ранжируются по обновляемости. Новостные проверяются чаще, более статические реже.