网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？ - Python论坛

编程论坛 → 开发语言 → 『 Python论坛』 → 网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？

标题：网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？

只看楼主

萌萌01

等　级：新手上路
帖　子：5
专家分：7
注　册：2018-11-15
结帖率：0

已结贴√ 问题点数：20 回复次数：3

网页信息抓太快导致封锁IP的情况，网络爬虫如何处理？

采集一个网站太频繁，能够采集的网页越来越少，甚至会被封杀IP，只有控制好采集速度和频率才能持续地获得数据，并且，要定期清理浏览器的cookies。

搜索更多相关主题的帖子: 网页　 IP　网络　处理　采集　

2018-12-05 16:56

幻紫灵心

来　自：山咔咔里面
等　级：贵宾
威　望：53
帖　子：395
专家分：2640
注　册：2018-3-30

得分:10

用IP代理就不会被封ip了。。。

saber,别哭.

2018-12-06 12:52

闫哈哈

等　级：新手上路
威　望：1
帖　子：4
专家分：7
注　册：2019-1-17

得分:0

用代理ip, 不然就降低请求频率.

人生啊地不熟

2019-01-17 11:44

潇洒水星

等　级：新手上路
帖　子：1
专家分：0
注　册：2020-2-25

得分:0

代理ip不然也可以把他的频率降低

2020-02-25 00:42