一步步教你用python的scrapy编写一个爬虫-创新互联
介绍
本文将介绍我是如何在python爬虫里面一步一步踩坑,然后慢慢走出来的,期间碰到的所有问题我都会详细说明,让大家以后碰到这些问题时能够快速确定问题的来源,后面的代码只是贴出了核心代码,更详细的代码暂时没有贴出来。
流程一览
首先我是想爬某个网站上面的所有文章内容,但是由于之前没有做过爬虫(也不知道到底那个语言最方便),所以这里想到了是用python来做一个爬虫(毕竟人家的名字都带有爬虫的含义😄),我这边是打算先将所有从网站上爬下来的数据放到ElasticSearch里面, 选择ElasticSearch的原因是速度快,里面分词插件,倒排索引,需要数据的时候查询效率会非常好(毕竟爬的东西比较多😄),然后我会将所有的数据在ElasticSearch的老婆kibana里面将数据进行可视化出来,并且分析这些文章内容,可以先看一下预期可视化的效果(上图了),这个效果图是kibana6.4系统给予的帮助效果图(就是说你可以弄成这样,我也想弄成这样😁)。后面我会发一个dockerfile上来(现在还没弄😳)。
环境需求
- Jdk (Elasticsearch需要)
- ElasticSearch (用来存储数据)
- Kinaba (用来操作ElasticSearch和数据可视化)
- Python (编写爬虫)
- Redis (数据排重)
这些东西可以去找相应的教程安装,我这里只有ElasticSearch的安装😢点我获取安装教程
第一步,使用python的pip来安装需要的插件(第一个坑在这儿)
1.tomd:将html转换成markdown
pip3 install tomd
本文名称:一步步教你用python的scrapy编写一个爬虫-创新互联
URL网址:http://scyingshan.cn/article/cojcjs.html