SEO 技术基础
robots.txt 与 sitemap 怎么配合:网站抓取基础检查
说明 robots.txt、站点地图、canonical 和页面状态码各自的职责,避免把禁止抓取误当成删除索引或权限控制。
发布于 更新于
robots.txt 说明允许哪些抓取程序访问哪些路径;sitemap 提供希望被发现的有效网址。两者应与页面实际响应、canonical 和内部链接保持一致,但它们都不能保证网页一定被收录或获得排名。
先检查核心页面是否可以正常访问
对首页、服务、案例和文章分别打开一个详情页,确认返回成功状态,并能读取正文。随后检查样式、图片和必要资源是否被错误限制。不要先复制其他网站的 robots.txt,再猜测它是否适合自己的路径。
sitemap 只列正式有效的网址
避免包含测试页、已删除文章、跳转页和不存在的英文版本。中文与英文使用各自的规范网址;只有确有对应内容时才声明语言关系。文章实质更新后,可记录真实的最后修改时间,而不是每次构建都改一遍日期。
禁止抓取不是访问权限
robots.txt 是公开的抓取约定,不能保护内部资料。需要身份或权限控制的文件,应由服务器和业务系统控制访问。阻止抓取也不等同于已经从搜索结果中删除内容,索引问题需要按具体搜索平台机制处理。
分开管理普通搜索与 AI 抓取
不同抓取程序可能承担搜索发现、用户发起访问或模型训练等不同用途。应查阅对应平台的官方说明,再制定规则,不能假定一个用户代理名称代表所有 AI 访问。
参考:百度搜索资源平台;OpenAI 抓取程序说明。如需检查现站基础,可了解百度 SEO 服务。