关于Baiduspider抓取,反馈时间多久合适

  同学问:站点遇到百度蜘蛛抓取,应该在多长时间内给出反馈?时间太长会不会被惩罚?

  工程师答:1秒是最好,最多4至5秒也可以接受,如果时间再长,恐怕蜘蛛会过段时间再来了。当然如果这种情况经常发生,对你站点的抓取是非常不利的。

  在深圳Baiduspider3.0主题的高端沙龙中,我们的高级工程师也有这样一页PPT,其中提到历史抓取效果好和服务器稳定的站点,Spider会优先抓取处理。

关于Baiduspider抓取,反馈时间多久合适

相关新闻

联系我们

188-0666-3235

在线咨询:点击这里给我发消息

邮件:piok@haoshangbang.cn

工作时间:周一至周五,10:00 - 22:00,节假日休息

QR code