robots协议怎么书写?

2025-02-25 06:26:10
推荐回答(3个)
回答1:

#
# robots.txt for 你的网站安装包,或者你的网站名
#

User-agent: *
Disallow(不允许): /不想被收的目录/
Disallow(不允许): /不想被收的目录/

(结束。把括号内中文去了。把其他的转换成要求。格式为.TXT,扔在根目录下。记得不要把根目录填上去就行了。若是某个网页,就填绝对路径。)

回答2:

如果你不确定的文件最好不要放入网站中,百度蜘蛛最不喜欢404页面,或者是内部格局混乱的页面。

回答3:

如果你网站没有什么不能让引擎见的东西,最好不要写这个文件,最好不要!