百度蜘蛛来抓取网站内容 在日志里怎么看啊~

2024-12-26 15:47:29
推荐回答(4个)
回答1:

Baiduspider 这个是百度蜘蛛。Googlebot 这个是google机器人。你可以看下自己网站的日志。有没有baiduspider或者googlebot的痕迹。如果有,就代表它来过你的网站。这是一些日志状态码。200 成功300 重定向400 访问错误

回答2:

看日志里面那些页面被爬过 返回值是正常的 就基本上差不多了

回答3:

呵呵,好像要插件的吧,我有哦,徐老师编写的,需要的密我哦,记得要加分哦

回答4:

把日志打开搜索baiduspider,相应的记录就是百度蜘蛛的