如何用phantomjs去抓取js渲染后的页面

2025-02-27 10:30:28
推荐回答(1个)
回答1:

如何用phantomjs去抓取js渲染后的页面
phantomjs因为是无头浏览器可以跑js,所以同样可以跑dom节点,用来进行网页抓取是再好不过了。

比如我们要批量抓取网页 “历史上的今天” 的内容。网站

对dom结构的观察发现,我们只需要取到 .list li a的title值即可。因此我们利用高级选择器构建dom片段

var d= ''
var c = document.querySelectorAll('.list li a')
var l = c.length;
for(var i =0;id=d+c[i].title+'\n'
}