Разбор

Robots.txt управляет обходом, а не качеством

Robots.txt нужен, чтобы подсказать роботам правила обхода. Но он не делает страницу качественной и не исправляет дубли сам по себе. Опасность возникает, когда полезные разделы закрывают случайным Disallow.

  • Disallow
  • Allow
  • служебные разделы
  • проверка правил

Разбор

Sitemap должен быть чистым

В sitemap.xml стоит добавлять канонические и полезные страницы. Ошибочные URL, редиректы, 404, параметры и дубли размывают сигнал и мешают понимать приоритеты сайта.

  • канонические URL
  • status 200
  • lastmod
  • без дублей

Разбор

Canonical должен совпадать с логикой страницы

Canonical помогает объединять похожие версии, но неправильная настройка может отправить сигнал не туда. Особенно внимательно его проверяют на фильтрах, пагинации, карточках и посадочных страницах.

  • фильтры
  • пагинация
  • карточки
  • посадочные