cnzz站长统计这个网站一般只是看流量情况,蜘蛛爬取信息需要通过网站日志分析,所以是无法查看的。
以下是查看方法:
1、每个网站在WEB服务器上运行都产生LOG日志文件;
2、通过查看LOG日志即可看到百度蜘蛛什么时候去过网站,看了哪些页面,读取过什么文件,包括CSS、网页、图片、JS等文件格式;
3、LOG文件获取方式,如果有服务器可以直接登录查看,打开IIS-网站-属性-日志文件存放的路径-日志文件名(xxxxx.log);
4、虚拟主机获取LOG日志文件,通过FTP连接后一般会有LOG文件夹,打开后便能获取;
5、找到LOG文件后,30兆以下的以记事本方式打开即可查看每行代码。大于30兆的文件以其他辅助软件进行打开,比如editplus等。
6、看到日志记录中有【120.122.38.118 - - [11/Nov/2015:04:28:29 +0800] "GET / HTTP/1.1" 200 61083 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)】这种记录的,这就说明百度蜘蛛来过网站被LOG文件记录下来了
cnzz 站长统计。只是看流量情况吧。 蜘蛛爬取信息需要通过网站日志分析的
搜索引擎的蜘蛛基本不解析执行页面上的script脚本代码,因为脚本太复杂,解析起来效率太低。蜘蛛每天要抓上百万的页面,效率很重要。
另外蜘蛛抓取是按域名来的, 统计代码用的都是统计服务提供商各自的域名,就算提供也不是用户自己网站的数据哦,说能统计蜘蛛的一般都是忽悠你给他加链接,提供他自身网站pr的
有访问来源地址,百度蜘蛛有专门的访问地址。一看就知道了
cnzz不统计蜘蛛行为