robots.txt这只是网页开发者写的一个robots协议,我们爬虫可以遵守也可以不准守说白了只是个声明罢了你要真要写就User-agent: *Disallow: 一般是接口,或者网页文本的匹配格式
