SEO 技术基础

robots.txt 与 sitemap 怎么配合:网站抓取基础检查

说明 robots.txt、站点地图、canonical 和页面状态码各自的职责,避免把禁止抓取误当成删除索引或权限控制。

robots.txt 说明允许哪些抓取程序访问哪些路径;sitemap 提供希望被发现的有效网址。两者应与页面实际响应、canonical 和内部链接保持一致,但它们都不能保证网页一定被收录或获得排名。

先检查核心页面是否可以正常访问

对首页、服务、案例和文章分别打开一个详情页,确认返回成功状态,并能读取正文。随后检查样式、图片和必要资源是否被错误限制。不要先复制其他网站的 robots.txt,再猜测它是否适合自己的路径。

sitemap 只列正式有效的网址

避免包含测试页、已删除文章、跳转页和不存在的英文版本。中文与英文使用各自的规范网址;只有确有对应内容时才声明语言关系。文章实质更新后,可记录真实的最后修改时间,而不是每次构建都改一遍日期。

禁止抓取不是访问权限

robots.txt 是公开的抓取约定,不能保护内部资料。需要身份或权限控制的文件,应由服务器和业务系统控制访问。阻止抓取也不等同于已经从搜索结果中删除内容,索引问题需要按具体搜索平台机制处理。

分开管理普通搜索与 AI 抓取

不同抓取程序可能承担搜索发现、用户发起访问或模型训练等不同用途。应查阅对应平台的官方说明,再制定规则,不能假定一个用户代理名称代表所有 AI 访问。

参考:百度搜索资源平台;OpenAI 抓取程序说明。如需检查现站基础,可了解百度 SEO 服务。