4日目

昨日に引き続きグラフアプリをデータを実際に格納する部分を作成します。

【技術テーマ】

環境構築

言語

MySQL

目標成果物

今日はMySQLの環境構築を完了させ、前回の情報をDBに格納するところまでやりたいと思います。

コードと資料

1. MySQLのインストール

https://qiita.com/hkusu/items/cda3e8461e7a46ecf25d
こちらの記事を参考に指定されたコマンドを実行

【実行コマンド】

ruby -e "$(curl -fsSL https://raw.github.com/Homebrew/homebrew/go/install)"

結果

curl: (22) The requested URL returned error: 404 Not Found

参照したデータが古かったせいかダメでした....
と思ったが、これはHomebrewのインストールでそれは確か済んでるはずなので次のMySQLのインストールの部分を実行します。
【実行コマンド】

brew update
brew install mysql

これだけでインストール完了しました！
パスワードなどの設定も済ませたのですが、最近のsequel proからは簡単にアクセスできなくなってたみたいで....

ALTER USER 'ユーザー名'@'localhost' IDENTIFIED WITH mysql_native_password BY 'パスワード';

この設定をする必要がありました。

2. ライブラリの追加

MySQLにデータを入れるためにはそれ用のライブラリが必要なのでGemfileに下記の１行を追加します。

gem 'activerecord'
gem 'mysql2', '0.5.2'

その状態で

bundle install --path .bundle
を実行すると。エラーになったのですが

bundle config --local build.mysql2 "--with-ldflags=-L/usr/local/opt/openssl/lib"

このコマンドを実行したところ問題なくインストールできるようになりました。

3. ログデータの格納

まず、データを格納するためのテーブルを定義します。今回必要なのはどの画像が何日段階でどれだけダウンロードされてるかなので、ざっくり下記のようなテーブルになるかと。

CREATE TABLE `logs` (
  `id` int unsigned NOT NULL AUTO_INCREMENT,
  `image_id` int DEFAULT NULL,
  `download` int DEFAULT NULL,
  `date` date DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_general_ci;

そしてクローラーの方のコードに手を加えます。
まずMySQLとの接続用に

crawler.rb

require 'active_record'
require 'date'


# DB接続処理
ActiveRecord::Base.establish_connection(
  :adapter  => 'mysql2',
  :database => 'データベース名',
  :host     => 'localhost',
  :username => 'ユーザー名',
  :charset => 'utf8mb4',
  :encoding => 'utf8mb4',
  :collation => 'utf8mb4_general_ci',
  :password => 'パスワード'
)

class Log < ActiveRecord::Base; end

上記のコードを追加します。
その上で、メインとなっていたパース処理の部分を

crawler.rb

page = agent.get("https://www.photo-ac.com/creator/list/?pl_q=&pl_order=-releasedate&pl_pp=200&pl_disp=all&pl_ntagsec=&pl_tags50over=&pl_chkpsd=")
doc = Nokogiri::HTML.parse(page.body, nil, 'utf-8')
doc.css(".photo-list").each{|div|
  image_id =  div.css(".sectiondata li")[0].text.split("：")[1]
  download = div.css(".sectionimg .preview")[0].text
  Log.create({image_id:image_id,download:download,date:Date.today})
}

このように書き換えます。
そしていつものように実行をするとデータがちゃんと格納されると思います。

これでデータの収集部分は完了です。
(少し過ぎてしまった....)