NiFi インストール
NiFi 管理
NiFi Cookbook
- Hello Wold: 一番シンプルなデータフローを作ってみよう
- FTPからデータ取得
- REST APIからのデータ取得
- Apache Webサーバー アクセスログ取得
- [S3フォルダからファイルを取得し、HDFSに保存] (https://qiita.com/zzeng/items/f51437d247c3e02b0d71)
- HTTPプロセッサーでリモートファイルを取得・解凍し、特定パターンのファイルを整形した後にKafkaに流す
- 画像処理:MiNiFiでIoT設備(RaspberryPi)から画像データを取得し、NiFiに送る。NiFiがTensorFlowを呼び出し、画像認識して結果をHDFS/Hiveに保存
- 音声処理:MiNiFiでIoT設備(RaspberryPi)から画像データを取得し、NiFiに送る。NiFiがデータをWatsonAPIに流して、分類結果をHDFS/Hiveに保存
- RDB(MySQL/Oracle/SQL Server等)からレコードを抽出して、NiFi内で変換してHiveに保存
- IoTセンサーからデータを集めて、データセンターに送信
- IoTセンサーからデータを集めて、Cloudに送信
- REST APIを叩いて、結果JSONの特定のKey/Valueに基づいてデータを変換・保存
- DMPのデータ収集
- Cloudのデータ伝送コスト削減:クラウドに保存したIoTデータを違うクラウド環境(あるいはOn-Premise)に伝送して分析環境に保存
- 既存LegacyシステムのAdapter:既存LegacyシステムデータをHadoop環境に取り入れる
- MiNiFiでセンサーデータを取得し、NiFiに転送してHDFS、Hiveに書き込む