做爬虫的人都懂一个道理：代理IP好不好用，参数表说得再漂亮，也不如实际跑一轮来得真实。今年年中，我做了一个房产挂牌价监控项目，对代理IP的稳定性要求很高。于是我把当时手头正在用和听过的几家服务商，重新拉出来做了一次实测。前后大概两周，累计跑了超过800万次请求，踩了一些坑，也有几个比较直观的结论。先说说我为什么要做这次测评代理IP这个东西，最容易让人迷惑的地方就是宣传数据。很多服务商喜欢强调“千万级IP池”“99%高可用”“超低延迟”。但真正到了爬虫场景里，你会发现决定体验的往往不是单一参数，而是这几个问题：连续跑几个小时，能不能稳定出有效数据；高峰时段会不会突然塌方；IP切换是否及时，失效I ......
没有评论:
发表评论