首先,先看我写的文章,介绍现在微信公众账号一般抓取的方法:
安装:
$ npm install wechat_spider -g
具体安装和使用请查看 https://github.com/lijinma/wechat_spider
抓取完存储在 sqlite 中,可以导出 csv ,如图:
抓取思路:
- 使用中间人攻击的方式,安装根证书。
- 为了保证自动抓取分页,在每一页的后面添加:
<script>setTimeout(function(){window.location.href="下一个 url";},2000);</script>
,动态修改下一个 url ,这样就可以保证一直抓下去。
这是一个完整的工具
我尽可能的在 README 中尽可能的把每一步都写得非常清楚,希望真的可以对你有用,尤其是媒体工作者,因为我这个工具就是为我一个做媒体的朋友写的,有任何问题,请提 Issue 。