scrapy-redis

为 Scrapy 提供 Redis 组件的扩展，实现多爬虫共享队列的分布式爬取与后处理。