robots.txt(爬虫规则文件)

robots.txt 告诉搜索引擎爬虫可访问哪些 URL，主要用于避免无价值路径带来过多请求。它可限制某些页面、文件或目录的抓取，但并不是让公开网页从 Google 搜索结果中消失的机制。

参考：Google Search Central

若其他网站仍链接到被阻止的 URL，搜索系统可能在未访问页面内容的情况下发现并显示该地址。真正需要移除公开页面时，应使用可被爬虫读取的 noindex、密码保护或删除资源，而不是仅添加 Disallow。

参考：Google Search Central；Google Search Central

文件必须命名为 robots.txt 并放在站点根目录；它只影响所在协议、主机与端口下的 URL，不会自动覆盖子域名或其他协议。未被 Disallow 指定的路径默认允许抓取。

参考：Google Crawling Infrastructure

robots.txt 只解决爬虫是否请求资源。若页面需要 noindex，爬虫必须先能访问页面并读取 meta robots 或 X-Robots-Tag；同时设置 Disallow 和 noindex 往往会让 noindex 无法生效。

参考：Google Search Central

目录改名、语言站拆分、CMS 插件切换或新建下载中心后，旧规则可能继续阻断新页面或失去目标。把 robots.txt 与 URL 路由、Sitemap 生成和页面索引策略放在同一发布清单中，才能发现这种错配。

参考：Google Crawling Infrastructure

robots.txt 的规则由爬虫自愿遵守，不是安全边界。任何不能公开的客户资料、报价或后台接口，应通过登录、权限和服务器配置保护，而不是依赖抓取规则。

参考：Google Search Central