CData Yahoo! JAPAN DATA SOLUTION JDBC Driver を使ってみよう！ということで、
Yahoo! JAPAN のビッグデータをCData のコネクタとDataSpider を使って、SQL Server に格納していきます。
※ヤフー・データソリューションは、統計化されたビッグデータを活用しており、個人を識別できるデータ (パーソナルデータ) ではありません。
#用意するもの
Yahoo! JAPAN DATA SOLUTION DS.API - INSIGHT
ヤフーの検索データを取得・分析できるAPI
https://ds.yahoo.co.jp/service/api/
CData Yahoo! JAPAN DATA SOLUTION JDBC Driver
https://www.cdata.com/jp/drivers/yahoods/
DataSpider
EAI ツール
https://www.hulft.com/software/dataspider
SQL Server
オンプレに以下テーブルを用意しておきます。
| 名前 | 型 | |
|---|---|---|
| テーブル | SearchData | |
| 列1 | Date | varchar |
| 列2 | Volume | int |
| 列3 | SearchKeyword | varchar |
#準備
##CData Drivers インストール
トライアルがあるのでダウンロードののち、インストールします。
https://www.cdata.com/jp/drivers/yahoods/download/jdbc/
##ファイル配置
DataSpider のインストールフォルダにファイルを配置します。
配置先：
DataSpiderServista インストールフォルダ\server\plugin\data_processing\modules\jdbc_adapter
配置ファイル：
cdata.jdbc.yahoods.jar
cdata.jdbc.yahoods.lic
#連携処理開発
DataSpider を使って、連携処理を作っていきます。
完成イメージはこちら。
##接続設定
グローバルリソース（接続情報）の設定をします。
取得したいキーワードをURL で指定するので、キーワードごとに接続設定を作成します。
接続名：任意
ドライバクラス名：cdata.jdbc.yahoods.YahooDSDriver
URL：jdbc:yahoods:AppID=[アプリID];SearchKeyword=[検索キーワード];
最後に接続テストボタンで、接続を確認してみましょう。
##連携処理開発
プロジェクトとスクリプトを作成します。
###Yahoo! JAPAN ビッグデータ取得
JDBC アイコンを使って、検索データを取得します。
右側ツールパレット> データベース > JDBC > テーブル読み取り アイコンを中央画面にドラッグアンドドロップで配置。
テーブル読み取り処理のプロパティで必要項目を設定します。
今回はSearchVolume を選択します。
抽出テストができるので、確認しておきます。
確認できたら完了を押下し、アイコンを作成します。
###DB 書き込み
SQL Server に書き込む処理を作成します。
右側ツールパレット > データベース > SQL Server >テーブル書き込み アイコンを中央画面にドラッグアンドドロップで配置。
画面に沿って設定します。
入力データは先ほど作成した取得のアイコンを指定します。
SeachData テーブルを用意してあるので、指定していきます。
テーブルブラウザからデータベースの中身を見ることができます。
今は空っぽ。
完了ボタンを押下すると、マッピング追加の確認画面が出てくるので、アイコンを追加していきます。
###マッピング
真ん中にアイコンが追加されたので、ダブルクリックで開きます。
マッピング画面がこちら。
出力先やデータの加工ができます。
今回はこのまま出力していきます。
関連キーワードを扱いやすい形に直して出力したり（「キーワード＋○○」の○○だけを出力とか）、データをすぐに使える状態にしてデータベースに格納したりできます。
###処理完成
全ての処理ができたので、実行していきます。
無事にデータ取得が終わりました。
テーブルの中身を見てみるとデータが入っていることがわかります。
#まとめ
Yahoo! JAPAN DATA SOLUTION JDBC Driver を利用することで、DataSpider を経由してデータを扱うことができるようになりました！
DataSpider も多くのアダプタを持っているため、データを好きなシステム・アプリケーションに連携できます。アダプタがない場合でも、CData のコネクタと組み合わせることでデータ連携を可能にします。また、DataSpider ではデータの加工・整形、データのマージもできるためたくさんのシステム・アプリケーションのデータとYahoo! のビッグデータを合わせて活用できます。
ぜひお試しください！