クローリングしたデータを、Djangoで作成したテーブルに登録し、データベースAPIで扱えるようにする

コード少なめで参照URLの列挙になります。

1. Djangoでデータベース、モデルを作成

https://docs.djangoproject.com/ja/3.0/intro/tutorial02/
このURLを参考に２章の"モデルの作成"まで進める。
数分で終わるから自分の目で勉強しよう。

blogs/models.py に

models.py

class Racelist(models.Model):
    url = models.TextField(unique=True)
    title = models.TextField()
    place = models.TextField()
    date = models.DateTimeField()

を作成したとする。これにスクレイピングしたデータを詰め込んでいく。
チュートリアルにしたがって makemigrations してファイルの中身を確認

$python manage.py sqlmigrate Posts 0001

CREATE TABLE "blogs_racelist" (
	"id" integer NOT NULL PRIMARY KEY AUTOINCREMENT,
	"url" text NOT NULL UNIQUE, 
	"title" text NOT NULL, 
	"place" text NOT NULL, 
	"date" datetime NOT NULL);

なお、これで作成されるテーブル名は blogs_racelist であることに注意。

2.Scrapyの方のテーブル定義

https://qiita.com/Chanmoro/items/f4df85eb73b18d902739
このリンクを参考にScrapyを実装
データベースは簡単にsqlite で構わない。
items.py に定義するクラス名を、djangoで作成したテーブル名 (例: Blogs_racelist) とする。

items.py

import scrapy
class Blogs_racelist(scrapy.Item):
    url = scrapy.Field()
    title = scrapy.Field()
    place = scrapy.Field()
    date = scrapy.Field()

続いて scrapyのpipelineにおいて、
sqlite3.connect() のURLを、Djangoプロジェクトのdb.sqlite3へのパスにする。
デフォルトならdb.sqlite3ファイルが、Djangoが使用するデータベースであり、Scrapyで定義したテーブルがある場所
筆者の場合、以下のようなファイル構成にしたので、
sqlite3.connect('~~/keiba_project/myblog/db.sqlite3')) である。

.
├── README.md
└── myblog
    ├── accounts
    │   ├── __init__.py
    │   ├── __pycache__
    │   │   ├── __init__.cpython-36.pyc
    │   │   ├── __init__.cpython-37.pyc
    │   │   ├── admin.cpython-36.pyc
    │   │   ├── admin.cpython-37.pyc
    │   │   ├── apps.cpython-36.pyc
    │   │   ├── apps.cpython-37.pyc
    │   │   ├── models.cpython-36.pyc
    │   │   ├── models.cpython-37.pyc
    │   │   ├── urls.cpython-36.pyc
    │   │   ├── urls.cpython-37.pyc
    │   │   ├── views.cpython-36.pyc
    │   │   └── views.cpython-37.pyc
    │   ├── admin.py
    │   ├── apps.py
    │   ├── migrations
    │   │   ├── __init__.py
    │   │   └── __pycache__
    │   │       ├── __init__.cpython-36.pyc
    │   │       └── __init__.cpython-37.pyc
    │   ├── models.py
    │   ├── templates
    │   │   └── accounts
    │   │       └── signup.html
    │   ├── tests.py
    │   ├── urls.py
    │   └── views.py
    ├── admin
    │   ├── css
    │   │   ├── autocomplete.css
    │   │   ├── base.css
    │   │   ├── changelists.css
    │   │   ├── dashboard.css
    │   │   ├── fonts.css
    │   │   ├── forms.css
    │   │   ├── login.css
    │   │   ├── responsive.css
    │   │   ├── responsive_rtl.css
    │   │   ├── rtl.css
    │   │   ├── vendor
    │   │   │   └── select2
    │   │   │       ├── LICENSE-SELECT2.md
    │   │   │       ├── select2.css
    │   │   │       └── select2.min.css
    │   │   └── widgets.css
    │   ├── fonts
    │   │   ├── LICENSE.txt
    │   │   ├── README.txt
    │   │   ├── Roboto-Bold-webfont.woff
    │   │   ├── Roboto-Light-webfont.woff
    │   │   └── Roboto-Regular-webfont.woff
    │   ├── img
    │   │   ├── LICENSE
    │   │   ├── README.txt
    │   │   ├── calendar-icons.svg
    │   │   ├── gis
    │   │   │   ├── move_vertex_off.svg
    │   │   │   └── move_vertex_on.svg
    │   │   ├── icon-addlink.svg
    │   │   ├── icon-alert.svg
    │   │   ├── icon-calendar.svg
    │   │   ├── icon-changelink.svg
    │   │   ├── icon-clock.svg
    │   │   ├── icon-deletelink.svg
    │   │   ├── icon-no.svg
    │   │   ├── icon-unknown-alt.svg
    │   │   ├── icon-unknown.svg
    │   │   ├── icon-viewlink.svg
    │   │   ├── icon-yes.svg
    │   │   ├── inline-delete.svg
    │   │   ├── search.svg
    │   │   ├── selector-icons.svg
    │   │   ├── sorting-icons.svg
    │   │   ├── tooltag-add.svg
    │   │   └── tooltag-arrowright.svg
    │   └── js
    │       ├── SelectBox.js
    │       ├── SelectFilter2.js
    │       ├── actions.js
    │       ├── actions.min.js
    │       ├── admin
    │       │   ├── DateTimeShortcuts.js
    │       │   └── RelatedObjectLookups.js
    │       ├── autocomplete.js
    │       ├── calendar.js
    │       ├── cancel.js
    │       ├── change_form.js
    │       ├── collapse.js
    │       ├── collapse.min.js
    │       ├── core.js
    │       ├── inlines.js
    │       ├── inlines.min.js
    │       ├── jquery.init.js
    │       ├── popup_response.js
    │       ├── prepopulate.js
    │       ├── prepopulate.min.js
    │       ├── prepopulate_init.js
    │       ├── timeparse.js
    │       ├── urlify.js
    │       └── vendor
    │           ├── jquery
    │           │   ├── LICENSE.txt
    │           │   ├── jquery.js
    │           │   └── jquery.min.js
    │           ├── select2
    │           │   ├── LICENSE.md
   
    │           │   ├── select2.full.js
    │           │   └── select2.full.min.js
    │           └── xregexp
    │               ├── LICENSE.txt
    │               ├── xregexp.js
    │               └── xregexp.min.js
    ├── blogs
    │   ├── __init__.py
    │   ├── __pycache__
    │   │   ├── __init__.cpython-36.pyc
    │   │   ├── __init__.cpython-37.pyc
    │   │   ├── admin.cpython-36.pyc
    │   │   ├── admin.cpython-37.pyc
    │   │   ├── apps.cpython-36.pyc
    │   │   ├── apps.cpython-37.pyc
    │   │   ├── models.cpython-36.pyc
    │   │   ├── models.cpython-37.pyc
    │   │   ├── urls.cpython-36.pyc
    │   │   ├── urls.cpython-37.pyc
    │   │   ├── views.cpython-36.pyc
    │   │   └── views.cpython-37.pyc
    │   ├── admin.py
    │   ├── apps.py
    │   ├── migrations
    │   │   ├── 0001_initial.py
    │   │   ├── 0002_racelist.py
    │   │   ├── __init__.py
    │   │   └── __pycache__
    │   │       ├── 0001_initial.cpython-36.pyc
    │   │       ├── 0001_initial.cpython-37.pyc
    │   │       ├── 0002_racelist.cpython-37.pyc
    │   │       ├── __init__.cpython-36.pyc
    │   │       └── __init__.cpython-37.pyc
    │   ├── models.py
    │   ├── templates
    │   │   └── blogs
    │   │       ├── post_confirm_delete.html
    │   │       ├── post_detail.html
    │   │       ├── post_form.html
    │   │       └── post_list.html
    │   ├── tests.py
    │   ├── urls.py
    │   └── views.py
    ├── db.sqlite3 <- 標的
    ├── keiba_scrapy
    │   ├── scrapy.cfg
    │   └── ten_min_scrapy
    │       ├── __init__.py
    │       ├── __pycache__
    │       │   ├── __init__.cpython-37.pyc
    │       │   ├── items.cpython-37.pyc
    │       │   ├── pipelines.cpython-37.pyc
    │       │   └── settings.cpython-37.pyc
    │       ├── items.py
    │       ├── middlewares.py
    │       ├── pipelines.py <- 今いじっているファイル
    │       ├── settings.py
    │       └── spiders
    │           ├── __init__.py
    │           ├── __pycache__
    │           │   ├── __init__.cpython-37.pyc
    │           │   └── scrapy_blog_spider.cpython-37.pyc
    │           └── scrapy_blog_spider.py
    ├── manage.py
    ├── myblog
    │   ├── __init__.py
    │   ├── __pycache__
    │   │   ├── __init__.cpython-36.pyc
    │   │   ├── __init__.cpython-37.pyc
    │   │   ├── settings.cpython-36.pyc
    │   │   ├── settings.cpython-37.pyc
    │   │   ├── urls.cpython-36.pyc
    │   │   ├── urls.cpython-37.pyc
    │   │   ├── wsgi.cpython-36.pyc
    │   │   └── wsgi.cpython-37.pyc
    │   ├── settings.py
    │   ├── urls.py
    │   └── wsgi.py
    ├── static
    │   ├── css
    │   │   └── style.css
    │   └── data
    │       └── finalized_model.sav
    └── templates
        ├── 403.html
        ├── 404.html
        ├── base.html
        └── registration
            ├── logged_out.html
            └── login.html

同じくpipelineにおいて、テーブルに登録するようなメソッドに、Djangoで作成したテーブル名を使ってロジックを書いていく。

Spiderにおいてテーブル名を使うメソッドも、同一テーブル名に編集する必要がある。

初心者エンジニアがいちいち説明するより、方針を述べてあとはググってもらった方が、winwinだったりする。
全体の方針としては、

Djangoでテーブル作成　
Scrapyの接続先にDjangoのデータベースを登録
その中のtableを items, spider, pipeline が参照するようにする

疲れたら寝よう。デスクに向かって罵声を浴びせる前に。