HTTP请求头的User-Agent最好是使用常用的浏览器的User-Agent值，比如Firefox、IE、chrome等浏览器，因为有些网站会过滤User-Agent，目的是限制部分“机器人”程序访问网站。比如我以前用Python编写过一个爬虫程序，但是偏偏对一个网站总是出错，也找不到原因，后来发现是那个网站过滤User-Agent，我的程序使用的是Python的User-Agent默认值，而换成Firefox浏览器的User-Agent字符串，访问就正常了。
内容全部来源于网络收集，如有侵权，请联系网站删除：QQ号：24596024