首页
51问答网
>
scrapy 爬虫怎么能够只写一个通用spider，然后利用参数去顺序爬取很多个站点
scrapy 爬虫怎么能够只写一个通用spider，然后利用参数去顺序爬取很多个站点
2025-03-29 04:18:22
推荐回答（1个）
回答1：
说实话这个很难，因为不同站点的html相差很大，基本上是不可能说用一个通用spider去爬取的，除非你爬取的目标本来就是整个网页页面，但这样子就成了搜索引擎那样的爬虫了
相关问答
最新问答
日语式样书中， 抽出条件什么意思
重庆永辉超市有限公司南岸区万达广场分公司怎么样？
辩论赛在哪看
银行卡挂失后必须在多久内补办
遵义的滴滴在贵阳可以用吗∠
你认为哪些物流快递公司比较靠谱？
唐莉忍耐多时的泪水,肆意地流淌下来……怎样理解这句话中肆意的丰富内涵?
养金毛，请问北京可以养吗，也看到过很多人在溜大型狗
技嘉B150-hd3p与i5-7400搭配怎么样？cpu性能会不会被限制了？？
福田口岸地铁站到深圳城市学院怎么走
