用Node.js做爬虫怎么突破Web服务的频率限制?

2022-05-10 代理百科 0 0

这些天我用superagent做了一个node爬虫,用豆瓣电影序号(1000000-30000000)做索引来抓取豆瓣电影数据,可是运行一会儿,就报403错误了,如果一分钟只能爬40次太慢了,有什么解决方案能破解这个限制吗?
看看我的代码:
var superagent = require('superagent');
var k = 0;
var n = 200;
for (var i = 1; i < n; i++) {
superagent.get("www.douban.com")
.end(function (err, res) {
console.log(res.statusCode)
console.log(k++)
});
}
参考:
NodeJS学习:爬虫小探
SuperAgent - Ajax with less suck


setTimeout()啊

豆瓣本来就对采集的频率有限制!除非你使用代理IP,不断切换代理IP

可以花一些钱,用动态IP来采集

发表评论
评论列表