python 爬虫为什么我更换不同的请求头(User-Agent) 就找不到我想要的内容了??

2025-03-12 02:33:47
推荐回答(1个)
回答1:

python爬虫爬取网站内容时,如果什么也没带,即不带报头headers,往往会被网站管理维护人员认定为机器爬虫。因为,此时python默认的user-agent如Python-urllib/2.1一样。因此,网站管理人员会根据请求的user-agent判定你是不是机器爬虫。所以,此时往往就需要伪装user-agent,模拟成真实的浏览器去取出内容。