弊社で取り組んでいるデータ活用システムの取り込み方法について

はじめに

弊社オープントーンで提供している、
データの投入とそのデータを分析、活用するツールです。

業務のデジタル化により効率化を図るだけではなく、
デジタル化によって収集されるデータの分析・利活用により、
ビジネス戦略の再検討や、新たなビジネスモデルの創出が望まれています。

昨今弊社では様々なビジネス上のユーザーデータを集めて、データ集計・分析する取り組みをし、それを顧客に提供しています。
その中でいくつかのデータの投入方法を実現しています。

そのようなデータを集積・分析するには実際のデータを吸い上げることが必要で、
また統計データの集計値ではなく、実際のデータを利用するため、
より現実に即したデータで分析を行うことができるものになります。

ここではその一例を紹介します。

データの投入方法について

データの投入をするという話を上記で触れたかと思いましたが、
以下のような取り込み方法に対応しています。

• 1.SFTP投入
• 2.スクレイピング投入
• 3.API投入
• 4.手動投入

SFTP投入

エンドユーザーから直接S3にSFTPでデータファイルを配置頂く形になります。
S3にデータが投入されたのをトリガーとしてLambdaがバッチを呼び出し、投入頂いたデータをそのままDBに投入するような連携方法。

スクレイピング投入

Eventbridgeで定期的に発火を行い、
データが格納されているWebページからバッチにてクレイピング対象サイトからファイルを取得しDBにそれぞれ投入までを行う連携方法

API投入

Eventbridgeで定期的に発火を行い、
エンドユーザーが使用しているシステムのベンダーが提供している外部APIを利用し、
そのレスポンスをシステムDBに投入する連携方法。

手動投入

上記3つの取り込みで対応できないようであれば、
エクセルシートやcsvによるアップロード（独自フォーマットではなく、ユーザーが運用しているフォーマットからETL処理）を行います。
アプリのフロント画面からエクセルファイルをアップロードし、それをDBに投入する連携。
S3にデータが投入されたのをトリガーとしてLambdaがバッチを呼び出し、投入頂いたデータをそのままDBに投入するような連携方法をとります。