既然确定了用爬虫来自动整理文章，你得先理解爬虫是什么。爬虫说白了就是一个脚本程序。说到脚本，我们平时遇到一些费时费力又容易出错的活儿，都可以把用到的命令写到脚本里，让计算机自动来执行。测试同学说的自动化脚本，运维同学说的环境配置脚本，都是这个意思。一个脚本包含了很多命令，一个接一个，告诉计算机第一步干什么，之后干什么，最后干什么。
在这里，我们的目标很明确，就是写一个爬虫脚本，让计算机一步一步的把「给产品经理讲技术」的所有历史文章，保存成pdf。
历史文章哪里去找？正好，微信公众号的关注界面有一个查看历史消息的链接。
点开历史消息，这个页面每次显示10篇文章，如果用户滑到底，就会再加载10篇出来，典型的异步加载。我们要找的，就是每篇文章的URL地址。只要找到所有文章的URL，就能下载到每篇文章的内容和图片，然后就可以进一步加工处理成pdf了。
为此，我们长按页面选择在浏览器中打开，然后把地址栏里的URL复制出来，发送到电脑上，用Chrome打开。用Chrome的最大好处，就是它有一个「开发人员工具」，可以直接查看网页的源码。按下command+option+L，打开开发人员工具，就能看到这个网页的源码了。我们要找的东西，就藏在这些乱七八糟的HTML代码里。
如何从HTML源码里找到我们想要的文章链接呢？
这要从HTML的结构说起。HTML全称超文本标记语言，所谓标记，就是说是它通过很多标签来描述一个网页。你看到很多像以开始，以结束的标志，就是标签。这些标签一般成对出现，标签里面还可以套标签，表示一种层级关系。最外面的html标签是最大的，head、body次之，一层一层下来，最后才是一段文字，一个链接。你可以把它类比成一个人，这个人叫html，有head，有body，body上有hand，hand上面有finger。
扯远了，一些常用的标签：
1、
。一个网页的很多重要信息，都是在这里声明的。比如说标题，就是在下的
里定义的。一个网页用到的CSS样式，可以在<head>下的<style>里定义。还有你写的JavaScript代码，也可以在<head>下的<script>里定义。<br><br> 2、<body>。它包含的东西就多了，基本上我们能看到的东西，一段文字，一张图片，一个链接，都在这里面。比如说：<br><br> <p>表示一个段落<br><br> <h1>是一段文字的大标题<br><br> <a>表示一个链接<br><br> <img>表示一张图<br><br> <form>是一个表单<br><br> <div>是一个区块<br><br> 计算机是如何理解HTML的标签的呢？其实很简单，它就是一棵树。你可以把<html>当做树根，从树根上分出<head>和<body>，各个分支上又有新的分支，直到不能再分为止。这有点类似我们电脑上存放的文件。假设你有一本《21天学习C++》的电子书，存在D盘、study文件夹下的CS文件夹里。而study文件夹里除了CS文件夹，还有GRE、岛国文化等目录，代表着另一个分支体系。这也是一棵树。树上的每一片叶子，都有一条从根部可以到达的路径，可以方便计算机去查找。<br><br> 回到正题，有了这些基础知识，我么再来看微信这个历史消息页面。从最外层的<html>标签开始，一层一层展开，中间有<body>、有<div>、最后找到一个<a>标签，标签里面的hrefs就是每篇文章的URL了。把这个URL复制下来，在新的TAB打开，确认确实是文章的地址。<br><br> 现在我们通过分析一个网页的结构、标签，找到了我们想要的文章URL，我们就可以写爬虫去模拟这个过程了。爬虫拿到网页之后，我们可以用正则表达式去查找这个<a>标签，当然，也可以用一些更高级的手段来找。</p>
</div>
</div>
<div class="clear"></div>
</div>
<div class="wdhdnr">
<div class="huidanrtop">
<div class="wdhuidaxinx">
<div class="wdhuidaxm">回答2：</div>
</div>
</div>
<div class="clear"></div>
<div class="wdhuidanrmid">
<div class="zuijiacont">
<p>不管是自己写不写代码，都可以试一试前嗅的ForeSpider爬虫。因为ForeSpider数据采集系统是可视化的通用性爬虫，如果不想写代码，可以通过可视化的方式爬取数据。 对于一些高难度的网站，反爬虫措施比较多，可以使用ForeSpider内部自带的爬虫脚本</p>
</div>
</div>
<div class="clear"></div>
</div>
<div class="wdhdnr">
<div class="huidanrtop">
<div class="wdhuidaxinx">
<div class="wdhuidaxm">回答3：</div>
</div>
</div>
<div class="clear"></div>
<div class="wdhuidanrmid">
<div class="zuijiacont">
<p><p>有些工具可以不用写采集规则或定制采集规则，不需要自己写，很方便</p>
<p><img loading="lazy" class="ikqb_img" src="/picurl?url=https%3A%2F%2Fiknow-pic.cdn.bcebos.com%2F241f95cad1c8a78682f5206f7709c93d71cf50f7%3Fx-bce-process%3Dimage%252Fresize%252Cm_lfit%252Cw_600%252Ch_800%252Climit_1%252Fquality%252Cq_85%252Fformat%252Cf_auto" esrc="https://iknow-pic.cdn.bcebos.com/241f95cad1c8a78682f5206f7709c93d71cf50f7"></p></p>
</div>
</div>
<div class="clear"></div>
</div>
</div>
</div>
<div class="wendaright">
<div class="wdluluerwema">
<div class="wdxgwttop">相关问答</div>
<div class="wdxgwtnr">
</div>
<div class="clear"></div>
</div>
<!-- 其他随机问答['id'=>alphaID($like['zid'])] -->
<div class="wdluluerwema">
<div class="wdxgwttop">最新问答</div>
<div class="wdxgwtnr">
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/329827376.html">我想考个会计证，好考吗？自学可以吗？学习什么资料效果好些?</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/466313153.html">怎样开通支付宝卡通啊？是去银行办的吗？那如果开了支付宝卡通还需要开网银吗？还有支付宝卡通要怎样存啊</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/494425143361933212.html">led灯电比普通电灯泡节约多少度电</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/492887960.html">跪求一首英文歌曲，女生唱的，里面歌词有i do i do后面几句后 you too you too，万分感谢？</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/2265588584282267708.html">本人身高175，体重55kg,吃什么能在两个月内长20斤肉，或者给个增肥计划</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/150939400.html">我是在校高考生现在美术联考成绩222分，文化成绩在可能达到290-320分左右！可以上湖南哪些大学！</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/220448180.html">电瓶车蹬起来很轻松，和变速自行车变到最轻那种感觉似的，猛蹬不往前走。所以脚蹬基本是个摆设。</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/1307550581576653019.html">从西直门到六里桥怎么坐公交车，最快需要多久</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/98414784.html">急求.各高手帮翻译汽车专业英语</a></div>
</div>
<div class="wdxgwtcont">
<div class="wdxgtitle"><a href="https://www.51a.net/750593732944166692.html">我说以后再也不想见到你了，男生说我还不想见你了呢，他说的是不是真的不想见我，还是别的</a></div>
</div>
</div>
</div>
</div>
<div class="clear"></div>
<div class="footer">
<!-- 移动底部导航 -->
<div class="fanhuitop"><a href="#top" ref="nofollow"><img src="https://www.51a.net/static/old/img/fhtop.png" alt="返回顶部" title="返回顶部"></a></div>
<div class="dibu">
<div class="dibu">
</div>
</div>
<div class="banquan">
<p>内容全部来源于网络收集，如有侵权，请联系网站删除：QQ：24596024</p>
</div>
</div>
</div>
</div>
<script>
var _hmt = _hmt || [];
(function() {
var hm = document.createElement("script");
hm.src = "https://hm.baidu.com/hm.js?aa60e2f779ee696abd6a207eac06903d";
var s = document.getElementsByTagName("script")[0];
s.parentNode.insertBefore(hm, s);
})();
</script>
</body>
</html>
