scrapy爬虫框架简单实例

声明：初学scrapy，总结学习内容。

目录

一、安装scrapy

二、创建工程

三、编写代码 

3.1 item文件编写

3.1 spider文件编写

3.2 pipeline文件编写

3.3 setting文件修改

四、测试

---

一、安装scrapy

pip install scrapy 

二、创建工程

scrapy startproject mySpider                 #创建scrapy工程
cd mySpider                                  #进入工程目录
scrapy genspider itcast "www.itcast.cn"      #创建爬虫（spider名不能与project名相同）

三、编写代码 

3.1 item文件编写

items用于存储字段的定义。即爬取的内容存与item类中。

3.1 spider文件编写

3.2 pipeline文件编写

pipeline文件用于存储到文件中。

3.3 setting文件修改

其他配置暂且不用修改，只修改pipeline配置。

四、测试

scrapy crawl itcast                        #运行爬虫