scrapy 數據存儲在 django model中

一、寫好models文件

二、配置scrapy -- settings

import os
import sys
import django
from django.core.wsgi import get_wsgi_application

sys.path.append(os.path.dirname(os.path.abspath('.')))
os.environ['DJANGO_SETTINGS_MODULE'] = 'kyzs.settings'
application = get_wsgi_application()
django.setup()

三、寫好scrapy items文件

import scrapy
from ks.models import ENGLISH_GRE   # important
from scrapy_djangoitem import DjangoItem   #important

class GrecrawlItem(DjangoItem):  #The argument
          django_model=ENGLISH_GRE  

四、寫好sipders文件

五、寫好pipelines文件

class GrecrawlPipeline(object):
        def process_item(self, item, spider):
              item.save()
              return item

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章