先来说sitemap，sitemap是网站地图的意思，在你的网站上找找肯定能找到网站地图。地图里放的就是这个文件里包含的链接。这个不是自动生成的。再来说说robots.txt文件，是一个禁止收录的文件。第一行的user-agent用来指定下面的规则适用于哪个蜘蛛。*代表所有的蜘蛛。后面的disallow告诉蜘蛛不要抓取后面的内容。希望对你有帮助，望采纳。。。
法发尾的哇的哇
