1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Apache NiFi で、S3ファイルの更新を検知して、更新されたファイルをAurora PostgreSQLにInsert

Last updated at Posted at 2024-03-25

目的:

Apache NiFi で、S3ファイルの更新を検知して、更新されたファイルをAurora PostgreSQLにInsert

完成状態のデータフロー

image.png

手順

1.) JSON をダウンロード
JSONファイル

2.) 新しいプロセッサーグループを作成。作成時、保存したJSONをアップロード

image.png

作成:
image.png

これでImport完了:
image.png

3.) JDBCドライバーを入れる

wget https://jdbc.postgresql.org/download/postgresql-42.7.3.jar
mkdir /tmp/nifi
mv postgresql-42.7.3.jar /tmp/nifi/

4.) パラメータ設定

4.1) ListS3 のパラメータ設定

image.png

S3のAccess Key設定:

image.png

image.png

image.png

入力した値は保護されているため、表示されない。
「Sensitive Value set」のみ表示。
image.png

4.2) AWSキーを保存しているAWSCredentialsProviderControllerServiceを起動
image.png

image.png

4.3) CSVReaderを起動

image.png

image.png

4.4) JDBC Connection pool(DBCPConnectionPool-postgreSQL)を起動
image.png

5.1) S3ファイルを保存しているBucket、Prefixを編集

image.png

image.png

5.2) INSERTしたいPostgreSQLのテーブル名を編集
PutDatabaseRecordプロセッサーの設定:
image.png

6.) 起動

image.png

7.) 履歴を確認:
image.png

image.png

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?