时间:2021-07-01 10:21:17 帮助过:17人阅读
我们都知道scrapy适合爬取大量的网站信息,爬取到的信息储存到数据库显然需要更高的效率,scrapy配合mongodb是非常合适的,这里记录一下如何在scrapy中配置mongodb。
$ scrapy startproject myscrapy
当我们创建一个scrapy工程的时候,scrapy会自动给我们创建目录结构,像下面这样:
├── scrapy.cfg └── myscrapy ├── __init__.py ├── items.py ├── pipelines.py ├── settings.py └── spiders └── __init__.py
items.py文件用于定义存储“容器”,用来存储将要抓取的数据。
MyscrapyItem()类继承自Item (文档),主要包含一些Scrapy已经为我们创建好的预定义对象:
import scrapy class MyscrapyItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() pass
添加一些想要收集的项。用户想要每条问题的标题和URL。那么,照这样更新items.py:
from scrapy.item import Item, Field class MyscrapyItem(Item): title = Field()
url = Field()
$ scrapy genspider myspider baidu.com
这样,scrapy会为我们在spiders目录下生成一个myspider.py的文件
import scrapy
from myscrapy.items import MyscrapyItem # 导入我们的item类 class MyspiderSpider(scrapy.Spider): name = ‘myspider‘ allowed_domains = [‘baidu.com‘] start_urls = [‘http://baidu.com/‘] def parse(self, response):
item = MyscrapyItem() # 实例化item类 item[‘title‘] = response.title # 此行为伪代码
item[‘url] = response.url
yield item # 这句会将item数据交给pipelines处理
最初一些变量的含义很容易理解(文档):
allowed_domains
包含构成许可域的基础URL,供蜘蛛去爬。start_urls
是一个URL列表,蜘蛛从这里开始爬。蜘蛛从start_urls中的URL下载数据,所有后续的URL将从这些数据中获取。抓取数据的伪代码已经写好了,接下来要将拿到的数据存储到数据库中
每当有一项返回,我们想验证数据,然后添加进一个Mongo集合。
第一步是创建一个我们计划用来保存所有抓取数据的数据库。打开settings.py,指定管道然后加入数据库设置:
ITEM_PIPELINES = { ‘myscrapy.pipelines.MyscrapyPipeline‘: 300, } MONGODB_SERVER = "localhost" MONGODB_PORT = 27017 MONGODB_DB = "crawl" MONGODB_COLLECTION = "item"
我们建立了爬虫去抓取数据,而且已经设置了数据库配置。现在要在pipelines.py中通过一个管道连接两个部分。
连接数据库
首先,让我们定义一个函数去连接数据库:
import pymongo from scrapy.conf import settings class MyscrapyPipeline(object): def __init__(self): connection = pymongo.Connection( settings[‘MONGODB_SERVER‘], settings[‘MONGODB_PORT‘] ) db = connection[settings[‘MONGODB_DB‘]] self.collection = db[settings[‘MONGODB_COLLECTION‘]] def process_item(self, item, spider): return item
这里,我们创建一个类,MongoDBPipeline(),我们有一个构造函数初始化类,它定义Mongo的设置然后连接数据库。
处理数据
下一步,我们需要定义一个函数去处理被解析的数据:
import pymongo from scrapy.conf import settings from scrapy.exceptions import DropItem from scrapy import log class MyscrapyPipeline(object): def __init__(self): connection = pymongo.Connection( settings[‘MONGODB_SERVER‘], settings[‘MONGODB_PORT‘] ) db = connection[settings[‘MONGODB_DB‘]] self.collection = db[settings[‘MONGODB_COLLECTION‘]] def process_item(self, item, spider): valid = True for data in item: if not data: valid = False raise DropItem("Missing {0}!".format(data)) if valid: self.collection.insert(dict(item)) # 将item解包后存入mongodb中 log.msg("Question added to MongoDB database!", level=log.DEBUG, spider=spider) return item
现在可以运行我们的scrapy了!
在总的myscrapy目录下运行下面命令:
$ $ scrapy crawl myscrapy
如果日志打印成功,可以去mongodb里找我们对应的数据库和集合,去查看数据。
scrapy+mongodb
标签:setting local rom 数据库配置 res 容器 tar eve 问题