RELATEED CONSULTING
相关咨询
选择下列产品马上在线沟通
服务时间:8:30-17:00
你可能遇到了下面的问题
关闭右侧工具栏

新闻中心

这里有您想知道的互联网营销解决方案
python分布式爬虫中的scrapy-redis是不是属于新框架

这篇文章主要介绍python分布式爬虫中的scrapy-redis是不是属于新框架,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

网站建设哪家好,找创新互联公司!专注于网页设计、网站建设、微信开发、成都小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了大安市免费建站欢迎大家使用!

安装:

pip install scrapy-redis

scrapy_redis在scrapy的基础上实现了更多,更强大的功能,具体体现在:

  •  请求对象的持久化

  • 去重的持久化

  • 实现分布式

scrapy-redis只是替换了redis的几个组件,不是一个新的框架。

scrapy_redis的流程

  • 在scrapy_redis中,所有的带抓取的对象和去重的指纹都存在所有的服务器公用的redis中

  • 所有的服务器共用一个redis中的request对象

  • 所有的request对象存入redis前,都会在同一个redis中进行判断,之前是否已经存入过

  • 在默认情况下所有的数据会保存在redis中

python分布式爬虫中的scrapy-redis是不是属于新框架

以上是“python分布式爬虫中的scrapy-redis是不是属于新框架”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


网站题目:python分布式爬虫中的scrapy-redis是不是属于新框架
分享URL:http://scyingshan.cn/article/psgjjh.html