Проверка и валидация robots.txt

Как работает robots.txt?

robots.txt — это файл в корневом каталоге сайта, который сообщает ботам, какие пути им можно сканировать. Google применяет самое длинное (самое конкретное) правило, подходящее к адресу; при равенстве побеждает Allow.

robots.txt не удаляет страницы из индекса, а только запрещает их сканирование. Если вы не хотите, чтобы страница показывалась в Google, используйте meta robots noindex.

• User-agent: к какому боту применяются правила
• Disallow и Allow: запрещённые и разрешённые пути (поддерживаются * и $)
• Sitemap: адрес вашего XML sitemap
• Проверка правил: статус адреса для Googlebot, Bingbot, GPTBot и других ботов