网站误封了Robots怎么办等Robots工具2个常见问题解答

Q1:Robots文件已经更新一个多月了,但为何所禁止的文件仍在被抓取呢?

A1:(1)开发者需要在百度搜索资源平台使用Robots工具进行更新, 并及时关注文件生效时间, 若3三天后还未生效, 建议提供具体问题截图和具体的URL在反馈中心反馈, 以便排查问题。

(2)自查Robots文件是否书写错误,Robots文件往往放置于根目录下,包含一条或更多的记录,这些记录通过空行进行分隔,若Robots文件书写错误了,则会导致所禁止的文件仍能被抓取。

Q2:网站误封了Robots怎么办?

A2:

(1)开发者应修改Robots封禁为允许,然后到百度搜索资源平台检测并更新Robots;

(2)在百度搜索资源平台使用抓取检测工具进行检查,若显示抓取失败,可以多点击抓取几次,触发蜘蛛抓取站点;

(3)在百度搜索资源平台通过抓取频次工具,申请上调抓取频次;

(4)在百度搜索资源平台反馈中心进行反馈;

(5)通过百度搜索资源平台主动提交资源,加快百度的抓取速度。

本文来自投稿,不代表老米博客立场,如若转载,请注明出处:https://www.laomiseo.com/4415.html

老米博客转载的文章、资料及相关图片,其版权均有原作者或原刊载媒介拥有,未经版权所有人同意,任何机构或个人不得擅自将其作为商业用途。

本站文章侵犯了原作者的权益,请联系我们(jin654@163.com),我们会立即更正或者删除有关内容。

本站拥有对此声明的最终解释权。

欢迎关注微信公众:微信公众号二维码

(0)
上一篇 2022年2月26日 下午2:05
下一篇 2022年2月26日 下午3:17

相关推荐

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注