はじめに
分散データをデータフローで整理できるApache Nifiを使う機会がありました。
RDBMSのデータをNoSQLのDatabaseに移行したいなどに使えます。
記事例：Apache Nifi入門：RDBMSからMarkLogicへの移行
Nifiとは
An easy to use, powerful, and reliable system to process and distribute data.
Nifiアーキテクチャ
出典：https://nifi.apache.org/docs.html
CSVファイルをMongodbにインポートするサンプル
CSVデータをコーディングなしでMongoDBにインポートするのをやってみます。
Nifiインストール（Windows）
①、ダウンロード：https://nifi.apache.org/download.html
②、解凍
③、管理者権限でrun-nifi.batを実行
④、http://localhost:8080/nifi でアクセス
CSV Readerを追加
設定ボタンからいろいろ共有設定は可能です。
CSV Reader設定
GetFileプロセッサー追加＆設定
PutMongoRecordプロセッサー追加＆設定
csvデータを設定したフォルダに配置
実行
実行結果
GetFileのところ「Keep Source File」がfalseにした場合はデータ投入後元CSVファイルが削除できます。
Apache Avro: https://avro.apache.org/docs/current/
以上