振り返り
前回は以下の記事で、FSx for NetApp ONTAP の FPolicy から得られる NFS/SMB ファイルイベントを、AI Data Pipeline と連携する仕組みについて紹介しました：
【FPolicy魔改造①】FSx for NetApp ONTAPのNFS/SMBファイルイベントをAI Data Pipelineと連携
前回解決した課題
イベント駆動
NFS/SMB プロトコルで新規ファイル作成をトリガーに AWS 上の Lambda/ETL/分析基盤ジョブを起動したい。
AI Data Pipeline に Multi-protocol を実現
NFS/SMB で保存された NAS データを AWS S3 にコピーせず、FSxN の S3 Access Point 経由でそのまま S3 API で取得・活用できるようにしたい。
今回の課題
リクストベースでジョブを投げたい
ユーザが指定した以下の項目をもとに、
- 対象時間帯
- 対象ファイル操作
- 対象パス
S3 Access Point 上に保存されたイベントログから該当エントリを抽出し、S3 パスへ変換のうえ SQS に Push したい。
つまり ――
「欲しい条件だけでファイルイベントを再取得し、後続バッチに渡せるようしたい」
というのが今回のゴールです。
ソリューションのいきなりまとめ
Batch 構成
今回の記事では、この中の
- Web → API Gateway → Lambda（Request-based）
の部分を実際に検証します。
検証結果
ここまで動作確認ができました：
- Web GUI で JSON 形式のリクエストを作成
- API Gateway 経由で Lambda を起動
- Lambda が S3 Access Point からイベントログを取得
- 条件に一致するログを S3 パスへ変換して SQS に Push
リクエストベースの柔軟なファイルイベント問い合わせが可能になり、イベントドリブンだけでなく オンデマンド・バッチ処理にも対応できる構成が完成しました。
セットアップ手順
- lambda_fpolicy_log_query.pyを Lambda にデプロイ
- API Gatewayを作成（MethodはPost）
- リクエスト作成用Webサイトをデプロイ
Web UIの参考画面
