Crawl budget простыми словами: почему робот обходит не все страницы

Если на сайте много страниц, поисковый робот не обязан обходить всё одинаково часто. Важно помочь ему видеть полезные URL, а не тратить время на дубли, параметры и мусорные страницы.