はじめに

以下にYahoo!ビッグデータインサイト(以下、YBI)でのブラウザアップロード手順を記載します。

環境

• OS: MacOS X 10.9.3
• ブラウザ: Google Chrome 41.0.2272.76

試した環境は上記環境ですが、マルチブラウザ対応はしておりますのでお使いのブラウザでお試しください。

前提

以下を前提とします。

• YBIのアカウントを持っていること
• ブラウザを利用できること
• インポート対象となるCSV/TSVファイルを持っていること

本資料では以下のTSV形式のインポートファイルを利用します。

host    path    method  referer code    agent   user    size    time
128.216.140.97  /item/sports/2511   GET http://www.google.com/search?ie=UTF-8&q=google&sclient=psy-ab&q=Sports+Electronics&oq=Sports+Electronics&aq=f&aqi=g-vL1&aql=&pbx=1&bav=on.2,or.r_gc.r_pw.r_qf.,cf.osb&biw=3994&bih=421  200 Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.7 (KHTML, like Gecko) Chrome/16.0.912.77 Safari/535.7   -   95  1412733081
224.225.147.72  /category/electronics   GET -   200 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) -   43  1412733080
172.75.186.56   /category/jewelry   GET -   200 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)    -   79  1412733078
196.183.34.70   /search/?c=Electronics+Games    POST    -   200 Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0.1) Gecko/20100101 Firefox/10.0.1    -   86  1412733076
116.198.217.173 /category/electronics   GET /item/games/4012    200 Mozilla/5.0 (Windows NT 6.0; rv:10.0.1) Gecko/20100101 Firefox/10.0.1   -   94  1412733074
100.126.194.214 /category/games GET /category/computers 200 Mozilla/5.0 (iPhone; CPU iPhone OS 5_0_1 like Mac OS X) AppleWebKit/534.46 (KHTML, like Gecko) Version/5.1 Mobile/9A405 Safari/7534.48.3    -   58  1412733072
216.51.135.153  /item/games/4772    GET /item/electronics/4627  200 Mozilla/5.0 (Windows NT 6.1; WOW64; rv:10.0.1) Gecko/20100101 Firefox/10.0.1    -   131 1412733070
40.81.151.94    /item/electronics/3883  GET /item/giftcards/855 200 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)  -   127 1412733068
76.75.28.148    /category/cameras   GET -   200 Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0) -   133 1412733066
108.78.162.171  /category/computers GET /category/games 200 Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.46 Safari/535.11    -   57  1412733063

手順実施

以下にブラウザアップロードの手順を記載します。

コンソールにアクセス

YBIコンソールにブラウザ経由でアクセスして、SignInします。

DB/TABLE作成

インポート先となるDB/TABLEが存在しない場合は以下の手順で作成します。

DB作成

SingIn後の画面でDatabasesタブをクリックしてDatabase一覧画面を表示させます。

Database一覧画面上のテキストボックスにDatabase名を入力後、Createボタンを押下することでDatabaseが作成されます。

TABLE作成

Database作成後画面でCreate Tableボタンを押下することでTableを作成することが出来ます。

画面表示後にテーブル名を入力して、Create Tablesボタンを押下することでテーブルが作成されます。

データインポート画面の表示

SignIn後は以下のJob画面が表示されるのでサイドメニューのCollect Dataタブをクリックして、CollectData画面を遷移させます。

CollectData画面でFile Uploadパネルの中のImportボタンを押下することで以下のように、データインポート画面を表示させることができます。

データインポート

データインポート画面のDrag a CSV or a TSV file here,orというフィールドにインポート対象のファイルをドラッグ&ドロップします。

そうするとDB/TABLE/Columnsの設定画面が表示されます。

ここでデータをインポートさせるDB/TABLEを選択します。
DB/TABLEを選択したらUse selected tableボタンを押下します。
例では先に作成したsample_yyyymmdd/sampleを選択しています。

そうするとインポート対象のファイルを読み込んだ上で、YBIのシステム側で推奨するカラムとデータ例を表示してくれます。

問題ない場合はSubmitボタンを押下することで、データインポートが開始されます。

問題があり変更したい場合は、参考1に記載する方法で設定を変更します。

データインポートが正常に行われると以下のようにインポート処理がsuccessとなり、データがテーブルに格納されます。

テーブルを確認すると以下のように格納されていることがわかるかと思います。

参考

参考1 - データ設定変更

テーブルフォーマット

テーブル全体の設定はData Previewの上部で設定します。

以下設定項目一覧とその意味となります。

Format: インポート対象のファイルフォーマットを指定します。

CSV: CSVファイル

TSV: TSVファイル

Header in first row: 先頭行をカラム名として利用するかどうかを選択します

Yes

No

Time Column: 時刻カラムを指定します。指定しない場合はNoneを選択します。

Default Time Zone: テーブルで利用するTimeZoneを指定します。日本時間を利用する場合はAsia/Tokyoを選択します

CharacterEncoding: テーブルの文字コードを指定します。基本はUTF8で問題ないと思います。

例えば、以下はHeader in first rowをNoに設定した場合の表示となります。

先頭行にhostなどが追加されていることがわかるかと思います。

カラムフォーマット

テーブル全体の設定はData Previewの下部で設定します。

設定できるのは以下の項目となります。

カラム名: 自由に変更可能です。

データ形式: システム側が推奨してくれますが誤っている場合は自由に変更可能です。

skip: checkを付けることでデータインポート対象から除外してくれます

インポート対象となるファイルのカラムの順番がテーブルの順番と異なる場合は、上記カラム名を変更することで適切なカラムにデータをインポートさせることが出来ます。