scrapy pymongo設置密碼

  1. 在settings.py文件中添加數據庫的配置項
MONGO_HOST = "127.0.0.1"  # 主機IP
MONGO_PORT = 27017  # 端口號
MONGO_DB = "Spider"  # 庫名 
MONGO_COLL = "heartsong"  # collection名
# MONGO_USER = "zhangsan"
# MONGO_PSW = "123456"
  1. 然後編寫Pipelines.py
 coding: utf-8 -*-

import pymongo
from scrapy.conf import settings

class HeartsongPipeline(object):
    def __init__(self):
        # 鏈接數據庫
        self.client = pymongo.MongoClient(host=settings['MONGO_HOST'], port=settings['MONGO_PORT'])
        # 數據庫登錄需要帳號密碼的話
        # self.client.admin.authenticate(settings['MINGO_USER'], settings['MONGO_PSW'])
        self.db = self.client[settings['MONGO_DB']]  # 獲得數據庫的句柄
        self.coll = self.db[settings['MONGO_COLL']]  # 獲得collection的句柄

    def process_item(self, item, spider):
        postItem = dict(item)  # 把item轉化成字典形式
        self.coll.insert(postItem)  # 向數據庫插入一條記錄
        return item  # 會在控制檯輸出原item數據,可以選擇不寫

摘自於https://msd.misuland.com/pd/299705742401736704

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章