对于刚学会基础的人,用python写爬虫前应要学会哪些知识

2024-12-22 13:37:29
推荐回答(1个)
回答1:

你好。首先做爬虫1.需要获取指定URL的源码。例如urllib.urlopen(url).read().第二.获取完源码用bs4模块bs4.BeautifulSoup(content)创建一个节点对象。然后就可以操作你想要的元素。还有一种方法是用正则表达式。总之就算获取源码。然后通过框架来访问或者截取想要的目标源码。Python中主流爬虫框架bs4和scrapy和pyspider。它们只是工具用哪个取决于自己。scrapy.功能更强大。希望能帮到你。