はじめに
こんにちは、CData Software Japan でOperations Manager をやっている佐藤です。この記事は、Qiita CData Software Advent Calendar 2022 18日目の記事になります。
今回はCData Sync を使って手許（ローカルドライブ）にある複数のCSV ファイルをSnowflakeへレプリケーションしてみました。
CData Syncについて
CData Sync を使用するとkintone、Salesforce をはじめとしたSaaS、各種アプリケーションのデータを単一のDB やDWH へノーコードで集約できます。
普段は経理をはじめとした事務仕事をしている私ですが、本当にノーコードでデータを単一DBへ集約できるのでしょうか？？
CData Sync のインストール
CData Sync のインストールについてはこちらの記事をご参照ください。
https://qiita.com/kuwazzy/items/30e501a0ac4f60a9178d
もろもろの設定
データソースとなるCSV ファイルの準備
まずはおもむろにExcelを開き、練習用の特に意味の無いファイル複数個を作成します。
.csvで保存。しかし、本当に意味が無い・・・。
Snowflake 側
Snowflake側にDBを準備します。
Data → Database → 右上の +Database というところを押すと新しいDBが作れます。
必須項目はDBの名前だけですね。今回は「Sync」としておきました。
Sync側
接続先にSnowflake を追加
接続 → 同期先 → Snowflake で追加。
| 項目 | |
|---|---|
| 名前 | 今回は「Snowflake」としました |
| プロバイダークラス | デフォルト（変更不可） |
| Auth Scheme | Password |
| URL | Web画面にログインするときのURL |
| Password | Web画面にログインするときのPW |
| Waregouse | COMPUTE_WH |
| Schema | PUBLIC |
次はデータソースとしてCSVを追加
URIには先ほど作成した意味の無いCSVファイルが格納されているフォルダを指定
最後にジョブを作成。データソースにCSVを指定し、同期先にSnowflakeをそれぞれ指定
特にプロパティはいじらずタスクを作成し実行してみる。
これが出てくれば成功！（最初csvファイルをExcelで開いていたらエラーになった。編集中だとダメみたいです。）
Snowflake側でDBを見てみる。
先ほどの特に意味のないcsvがレプリケートされています。
まとめ
普段は事務仕事の経理のおじさんでも、CData SyncとSnowflakeを使用して、複数のCSVファイルを1つのDBにまとめることが出来ました！
今回は特に意味のないCSVファイルを特に意味も無くDBへ集約するという、無駄に洗練された無駄の無い無駄なデータ連携になってしまいましたが、様々な業務システムから出力されるcsvファイルをひとつのDBに集約することが出来たら日常のレポーティングに役立てたり、経営判断に役立つ分析が容易になりそうです。