刚才牺牲了一下cnodejs社区，发现每回最多只能爬取10页左右，多了就报错。。。突然想起前几天面试的时候被问到，怎么反爬虫，当时只知道有个robot.txt文件和HTML的robot-control，好像可以做到，再就是直接封ip，，请问各位大侠，还有其他的什么方式么
↧
Channel:
CNode：Node.js专业中文社区
X
Are you the publisher?
Claim or
contact us
about this channel.
X
0
Channel Details:
- Title: CNode：Node.js专业中文社区
- Channel Number: 68517434
- Language: Chinese
- Registered On: August 13, 2016, 1:49 pm
- Number of Articles: 14821
- Latest Snapshot: October 4, 2020, 12:13 am
- RSS URL: http://cnodejs.org/rss
- Publisher: http://cnodejs.org
- Description: CNode：Node.js专业中文社区
- Catalog: //cnode1.rssing.com/catalog.php?indx=68517434
© 2024 //www.rssing.com