はじめに
このたび、ANGEL Calendarの企画に参加しております！
この記事は20日目の記事となります。
他の方の記事は、2024-ANGEL-Dojoの記事一覧から是非チェックしてみてください！
なぜこの記事を書いたのか
今回、AngelDojo内でAmazon AppFlowのサービスを使っているチームが少なかったので、
AppFlowの便利な点を共有したいと思い、記事を書かせていただきました。
Angel Dojo内の実装ではAppFlowを活用して、slack、salesforce、githubからデータを取得を実際に行いました。実際に使ってみて便利だと思った部分をこれから紹介をさせていただきます。
Amazon AppFlowとは？
初めにAmazon AppFlowとは何かについての説明をしていきます。
簡単に言うとSoftware as a Service(SaaS)アプリケーションとAmazon Simple Storage Service(S3)やAmazon Redshiftを連携して安全に転送できるサービスです。
実際に連携できるSaaSアプリケーションはSalesforce、slack、GitHub、GitLabなどがあります。他にも多くのSaaSアプリケーションとの連携が可能です。
公式サイト引用
Amazon AppFlow は、Salesforce、SAP、Google Analytics、Facebook Ads、ServiceNow などの Software as a Service (SaaS) アプリケーションと、Amazon Simple Storage Service (S3) や Amazon Redshift などの AWS のサービス間で、わずか数クリックで、データを安全に転送できるフルマネージド統合サービスです
AppFlowの設定
今回はSalesforceからデータを取得してきて、S3に保存できるように設定していきます。
最初にAWS マネジメントコンソールでAmazon AppFlowにアクセスをします。
アクセスができたら、フローを選択します。
フローの作成をクリックして実際にフローの設定します。
フローの詳細設定
最初にフロー名とフローを記入します。
そして、データの転送中のデータや保管中のデータを暗号化したい場合には
暗号化設定をカスタマイズする(高度)を選択します。
今回は検証でAppFlowを作成しているので暗号化はしていません。
フローを設定
次に送信元と送信先の設定をしていきます。
今回はSalesforceからデータを取得してS3に保存したいので送信元名をSalesforce、送信先名をS3に設定します。
接続元名から「Salesforce」を選択します。
新規接続を作成をクリックし、Salesforceに接続するための設定を行います。
接続先名を入力し、OAuthグランドタイプを「認証コード」を選択します。
Salesforce環境は「Production」「Sandbox」がありますが、それぞれ「本番環境」「検証環境」の意味になります。今回は「Production」を選択します。
PrivateLinkは今回、非公開接続にはしないので、PrivateLinkは「無効」を選択します。
設定が全て完了し、接続するを選択するとSalesforceのログイン画面に飛ぶので
ユーザ名とパスワードを入力してログインをします。
ログイン後、Salesforce接続を選択できるようになるので先ほど設定した新規接続先を選択します。
今回はSalesforceの商談オブジェクトをS3に保存して設定を行っていきます。
Salesforceオブジェクトを選択して、Salesforceオブジェクトを選択で商談を選びます。
次に接続先の設定を行います。
S3にsalesforceの商談オブジェクトのデータを保存したいので送信先をAmazonS3を選択します。
パケットは事前に作成していたsalesforce--testを選択し、
プレフィックスは生データを今回S3に保存するのでrawという名前で設定します。
データの形式はJSON形式、CSV形式、Parquet形式が選択できます。
今回はJSON形式でS3に保存したいのでJSON形式を選択します。
次にいつ実行したいかの設定を実施します。
フローを実行したら、すぐに実行したいのでオンデマンドで実行を選択します。
データフィールドをマッピング
ここではどのデータを持ってくるのかの設定ができます。
送信元フィールド名を選択し、取得したいデータを選択します。
今回は商談IDと取引先IDと金額を選択しました。
ここで設定することで取得したデータだけをS3に保存することができます。
フィルターを追加する
ここでは、取得したいデータを絞り込むことできます。
今回は商談ID、取引先IDと金額の全てのデータを取得したいので絞り込みは行いません。
これで全て設定が完了したので設定内容を確認してフローを実行します。
実行をすると以下の画像のように指定したS3パケット内にsalesforceデータ(商談ID、取引先ID、金額)を取得することができます。
取得したデータ
終わりに
今回は、Salesforceを連携して、データをS3に保存しました。
実際にAppFlowを使っていて、データをマッピングできる点とフィルタリングできる点が便利だと思いました。Salesforce以外には様々なサービスが連携できるので他のサービスも試していきたいと思います。便利だと思ったら、ぜひ機会があれば使ってみてください！