Snowflakeに手動でロードしたデータをWKCのデータカタログに登録してみた。

Last updated at 2021-12-20Posted at 2021-12-20

この記事の位置づけ

この記事は、[IBM Cloud Paks Advent Calendar 2021 Advent Calendar 2021] (https://qiita.com/advent-calendar/2021/cloudpaks) の12/6分として記載します。
投稿したのは12/20ですが、忙しくて今の今まで書く時間がなかったのです。
空きがあったので後からですけどエントリーしました。

#やりたいこと

Snowflakeに任意のデータをロードして、そのデータをCp4DaaSのデータカタログに登録してみる、という内容です。

ロード用データの準備

こちらで生成してダウンロードしたダミーデータを、（後で結合するので、）このような感じで2分割します。
- 個人情報を記載したdummy-persons.csv
- 個人のモバイルの情報を記載したdummy-mobiles.csv
- 各々は「連番」列が共通しています。
- なお、記載されている情報はすべてダミーであり、いわゆる個人情報（実在する生きている個人の情報）には該当しません。
今回、Snowflakeにはdummmy-persons.csvをロードしてみます。
（dumm-mobiles.csvは別なデータベースにロードします）

Snowflake にデータをロードする。

Snowflakeのこちらのサイトを参照しながら、データをロードします。

データベースの作成

画面左上の「Databases」をクリックして、「Create...」をクリックします。
名前とコメントを入れて、「Finish」をクリックします。
データベースが作成されました。ここで作成したデータベース「SNOW_DEMO」をクリックします。

##テーブルの作成

「Create...」をクリックします。
テーブル名を入力し、「Add」ボタンをクリックして元データのcsvに対応する列を追加していきます。
今回のcsvデータの列名を元に、以下を列として追加します。完了したらFINISHをクリックします。
- 連番:INTEGER型
- 氏名:STRING型
- 氏名（カタカナ）:STRING型
- 性別:STRING型
- 郵便番号:STRING型
念の為列名が英語のバージョンも作っておきます。
データをロードするテーブルが出来ました。
テーブル名をクリックして内容を確認します。
「Load Table」をクリックしてデータをロードします。
対応するWarehouseとして、デフォルトで選択される「COMPUTE_WH」をが選択されていることを確認し、「Next」をクリックします。
ソースファイルを選択する画面です。「Source Files...」をクリックします。
対象ファイルを選択した後は、「Next」をクリックします。
フォーマットの選択画面です。「＋」ボタンをクリックします。
- フォーマット名を入れます。またフォーマットがCSVであることを確認して、Finish をクリックします。
フォーマットが上記で作成された名称になっている事を確認して、「Load」をクリックします。
エラーになりました。
多分、1行目に入ってる列名の「連番」というのがINTEGER型にそぐわなかったのでしょう。ここを削って再度ロードしてみましょう。
データの1行目にあったヘッダを削除しました。
再度ロードします。
ロード完了しました。「OK」をクリックします。