scrapy redis实现爬虫提示如下错误什么原因

2025-03-23 05:21:32
推荐回答(1个)
回答1:

用爬虫跟踪下一页的方法是自己模拟点击下一页连接,然后发出新的请求;
参考例子如下:
item1 = Item()
yield item1
item2 = Item()
yield item2
req = Request(url='下一页的链接', callback=self.parse)
yield req
注意:使用yield时不要用return语句。