怎样解决robots.txt文件存在的限制指令

2024-11-25 21:20:08
推荐回答(1个)
回答1:

由于该网站的robots.txt文件存在限制指令的解决办法
1.
找到根目录下的robots.txt文件,去掉这一句disallow:/,解除屏蔽抓取;
2.
下面一步很关键,就是到站长平台下去更新robots文件,告诉搜索引擎你的网站已经对它解除了屏蔽,可以来抓取我的网页内容了,主动对搜索引擎示好,快照更新过来之后,现象就会消失了。