概要
ここ最近では、コロナの影響もあり、急速にIT化やDXを推進する企業が増えています。
そのような中、CRMやSFA、広告データを統合し、BIツールにて分析・可視化するニーズも高まっています。
しかし、このようなデータ統合を行うにはデータエンジニアが基盤を構築する必要があり、非常に手間がかかります。
そのような手間を解決するために、自動化して可視化する方法をまとめました。
以下の方法は全て troccoを使って、対応しています。
今なら2週間の無料トライアルも実施しているので、このような手間でお悩みの方は一度試してみてください。
CRM・SFA
BigQueryに統合
[SalesforceのデータをBigQueryに自動同期して、データポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/71611fca338064576369)
[kintoneの営業データをBigQueryに自動同期し、Googleデータポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/77e0d57ee006b6640501)
HubSpotのデータをBigQueryに統合してユーザーの行動を可視化してサービスを改善
Redshiftに統合
SalesforceのデータをRedshiftにETL(転送)してLookerで可視化する方法
kintoneの営業データをRedshiftにETL(転送)し、Lookerで可視化する方法
リスティング広告・SNS広告
BigQueryに統合
[Google広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/e534468332aa8d905c88)
[Yahoo!広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/1e6312d2a13816e462d8)
[Facebook広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/299a6f97f5649b2d6daa)
[Twitter広告のレポートをBigQueryに自動同期し、Googleデータポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/e15bcf54e7d40a58d7ae)
[TikTok Ads(広告)のレポートをBigQueryに自動同期し、データポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/1e3df359e153ab7aa434)
[LINE広告のレポートをBigQueryに自動同期し、データポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/0910a4b7b49d93b12d4c)
CriteoのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する
Redshiftに統合
[Google広告のレポートデータをRedshiftに統合してLookerで可視化する]
(https://qiita.com/hiro_koba_jp/items/4a07e71b2319d2d8de74)
[Yahoo広告のデータをRedshiftに自動同期し、Lookerで可視化する方法]
(https://qiita.com/hiro_koba_jp/items/1c8950a6852c59b4ccdf)
[Facebook広告のデータをRedshiftに統合してLookerで可視化する]
(https://qiita.com/hiro_koba_jp/items/d95aafb81da6f4f53a0a)
分析ツール・SEO
Google Search ConsoleのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する
データベース
[PostgreSQL→BigQueryのデータ統合を、3分で実現する方法]
(https://qiita.com/hiro_koba_jp/items/896c755f9d7d1ce69081)
[MySQL→BigQueryのデータ転送を、出来るだけラクにやる方法]
(https://qiita.com/hiro_koba_jp/items/8839bfb4fd3726f61f5a)
[AzureのSQL ServerからGoogle BigQueryへの、クラウドの壁を超えたデータ転送をtroccoでやってみる]
(https://qiita.com/hiro_koba_jp/items/599932c32980c697d2d2)
MySQLのデータをCDC形式で転送し、BigQueryに統合する
[ElasticsearchのデータをBigQueryに転送し、データポータルで可視化してみる]
(https://qiita.com/hiro_koba_jp/items/495b045a89cd99ae5c1e)
ストレージ・クラウドストレージ
[S3→BigQueryのデータ転送を、出来るだけラクにやる方法]
(https://qiita.com/hiro_koba_jp/items/bf36313ffbe7d965afce)
ノンコーディングでS3のデータをRedshiftに入れ、Lookerで可視化する方法
S3上の分析データをLookerで可視化する最速タイムアタックやってみた
[FTP/FTPS/SFTPのデータをBigQueryに統合し、データポータル(旧DataStudio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/2149cd6f4f662cebce13)
クラウドサービス・SaaSアプリケーション
Google SpreadSheetのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する
[JIRAのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/5010b182a5c34f1f7186)
AWS Cost ExplorerのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する
以上のご覧頂いたの方法は全て troccoを使って、対応しています。
他にも様々なケースでの対応実績があります。
今後も随時追加していく予定です。
気になっている方は、是非2週間の無料トライアルも実施しているのでまずはお試しください。