English
库 / 框架

scrapy-rotating-proxies

TeamHG-Memex/scrapy-rotating-proxies

Scrapy 的下载中间件,在爬虫中轮换多个代理,检测代理存活与封禁并按代理调整并发与重试节奏。

标签