免费 · 无需注册

robots.txt 测试与验证

我们会读取您网站的 robots.txt 文件，显示规则组、Sitemap 行和有风险的规则。输入一个网址，即可立即查看哪些爬虫可以访问。

我们会读取您域名根目录下的 robots.txt 文件；之后您可以测试网址并编辑该文件。

robots.txt 如何运作？

robots.txt 是位于网站根目录、告诉爬虫可以抓取哪些路径的文件。Google 会应用与网址匹配的最长（最具体）规则；长度相同时以 Allow 为准。

robots.txt 不会将页面从索引中移除，只会阻止抓取。如果您不希望某个页面出现在 Google 中，请使用 meta robots noindex。

  • User-agent：规则适用于哪个爬虫
  • Disallow 和 Allow：禁止和允许的路径（支持 * 和 $）
  • Sitemap：您的 XML sitemap 地址
  • 规则测试：某个网址对 Googlebot、Bingbot、GPTBot 及其他爬虫的状态

常见问题

Disallow: / 是什么意思？
阻止相应爬虫抓取整个网站。如果位于 User-agent: * 组中，所有爬虫都会被屏蔽，网站可能会逐渐从搜索结果中消失。
我应该屏蔽 CSS 和 JS 文件吗？
不应该。Google 会像浏览器一样渲染页面；如果 CSS 和 JS 被屏蔽，它就无法正确理解页面，还可能发现移动端适配问题。
更改何时生效？
Google 通常会将 robots.txt 文件缓存最多 24 小时。您可以在 Search Console 的 robots.txt 报告中请求重新抓取该文件。

其他免费工具

重定向与 HTTP 标头301/302 重定向链、HTTPS 和安全标头 XML sitemap 检查网址数量、错误和 lastmod 批量状态码检查最多 20 个网址的 HTTP 状态与重定向 hreflang 检查多语言网站的语言标签 SEO 分析80 多项检查、类别得分和优先建议热门 SEO 网站审计最多 15 个页面的技术与页面内检查热门

全部免费工具

20 秒看清您网站的现状。

通过免费分析了解您的技术问题和 AI 可见性短板；然后把修复工作交给 AutoAiSeo。

  • 无需绑卡
  • 5 分钟完成设置
  • 随时取消
免费分析