百度蜘蛛是否每次访问网站都会先查看robot文件?网站快照更新正常,但网站日志里没有百度蜘蛛的访问记录。

2025-01-05 06:25:12
推荐回答(2个)
回答1:

原则上搜索引擎蜘蛛都需呀先读取robots.txt 文件,查看收录规则。估计你百度对你网站的更新频率高于对robots.txt的频率。还有你的文件名不对,应该是robots.txt 这个文件。

回答2:

你的ROBOTS是不是有问题