LoginSignup
0

More than 1 year has passed since last update.

Yahoo! JAPAN のビッグデータとCData Drivers とDataSpider とSQL Server をつなげてみた

Last updated at Posted at 2021-12-17

CData Yahoo! JAPAN DATA SOLUTION JDBC Driver を使ってみよう!ということで、
Yahoo! JAPAN のビッグデータをCData のコネクタとDataSpider を使って、SQL Server に格納していきます。

※ヤフー・データソリューションは、統計化されたビッグデータを活用しており、個人を識別できるデータ (パーソナルデータ) ではありません。

用意するもの

Yahoo! JAPAN DATA SOLUTION DS.API - INSIGHT
 ヤフーの検索データを取得・分析できるAPI
 https://ds.yahoo.co.jp/service/api/
CData Yahoo! JAPAN DATA SOLUTION JDBC Driver
 https://www.cdata.com/jp/drivers/yahoods/
DataSpider
 EAI ツール
 https://www.hulft.com/software/dataspider
SQL Server
 オンプレに以下テーブルを用意しておきます。

名前
テーブル SearchData
列1 Date varchar
列2 Volume int
列3 SearchKeyword varchar

準備

CData Drivers インストール

トライアルがあるのでダウンロードののち、インストールします。
https://www.cdata.com/jp/drivers/yahoods/download/jdbc/

ファイル配置

DataSpider のインストールフォルダにファイルを配置します。

配置先:
DataSpiderServista インストールフォルダ\server\plugin\data_processing\modules\jdbc_adapter
配置ファイル:
cdata.jdbc.yahoods.jar
cdata.jdbc.yahoods.lic

連携処理開発

DataSpider を使って、連携処理を作っていきます。
完成イメージはこちら。
image.png

接続設定

グローバルリソース(接続情報)の設定をします。
取得したいキーワードをURL で指定するので、キーワードごとに接続設定を作成します。

接続名:任意
ドライバクラス名:cdata.jdbc.yahoods.YahooDSDriver
URL:jdbc:yahoods:AppID=[アプリID];SearchKeyword=[検索キーワード];
image.png
最後に接続テストボタンで、接続を確認してみましょう。

連携処理開発

プロジェクトとスクリプトを作成します。

Yahoo! JAPAN ビッグデータ取得

JDBC アイコンを使って、検索データを取得します。
右側ツールパレット> データベース > JDBC > テーブル読み取り アイコンを中央画面にドラッグアンドドロップで配置。
テーブル読み取り処理のプロパティで必要項目を設定します。
image.png
今回はSearchVolume を選択します。
image.png
抽出テストができるので、確認しておきます。
確認できたら完了を押下し、アイコンを作成します。

DB 書き込み

SQL Server に書き込む処理を作成します。
右側ツールパレット > データベース > SQL Server >テーブル書き込み アイコンを中央画面にドラッグアンドドロップで配置。
画面に沿って設定します。
入力データは先ほど作成した取得のアイコンを指定します。
SeachData テーブルを用意してあるので、指定していきます。
image.png

テーブルブラウザからデータベースの中身を見ることができます。
今は空っぽ。
image.png

完了ボタンを押下すると、マッピング追加の確認画面が出てくるので、アイコンを追加していきます。
image.png

マッピング

真ん中にアイコンが追加されたので、ダブルクリックで開きます。
image.png

マッピング画面がこちら。
出力先やデータの加工ができます。
image.png

今回はこのまま出力していきます。

関連キーワードを扱いやすい形に直して出力したり(「キーワード+○○」の○○だけを出力とか)、データをすぐに使える状態にしてデータベースに格納したりできます。

処理完成

全ての処理ができたので、実行していきます。
image.png

無事にデータ取得が終わりました。
テーブルの中身を見てみるとデータが入っていることがわかります。
image.png

まとめ

Yahoo! JAPAN DATA SOLUTION JDBC Driver を利用することで、DataSpider を経由してデータを扱うことができるようになりました!
DataSpider も多くのアダプタを持っているため、データを好きなシステム・アプリケーションに連携できます。アダプタがない場合でも、CData のコネクタと組み合わせることでデータ連携を可能にします。また、DataSpider ではデータの加工・整形、データのマージもできるためたくさんのシステム・アプリケーションのデータとYahoo! のビッグデータを合わせて活用できます。

ぜひお試しください!

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0