概要

ここ最近では、コロナの影響もあり、急速にIT化やDXを推進する企業が増えています。
そのような中、CRMやSFA、広告データを統合し、BIツールにて分析・可視化するニーズも高まっています。
しかし、このようなデータ統合を行うにはデータエンジニアが基盤を構築する必要があり、非常に手間がかかります。
そのような手間を解決するために、自動化して可視化する方法をまとめました。

以下の方法は全て troccoを使って、対応しています。
今なら2週間の無料トライアルも実施しているので、このような手間でお悩みの方は一度試してみてください。

CRM・SFA

BigQueryに統合

[SalesforceのデータをBigQueryに自動同期して、データポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/71611fca338064576369)

[kintoneの営業データをBigQueryに自動同期し、Googleデータポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/77e0d57ee006b6640501)

HubSpotのデータをBigQueryに統合してユーザーの行動を可視化してサービスを改善

Redshiftに統合

SalesforceのデータをRedshiftにETL(転送)してLookerで可視化する方法

kintoneの営業データをRedshiftにETL(転送)し、Lookerで可視化する方法

リスティング広告・SNS広告

BigQueryに統合

[Google広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/e534468332aa8d905c88)

[Yahoo!広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/1e6312d2a13816e462d8)

[Facebook広告のレポートをBigQueryに自動同期し、Data Studioで可視化する]
(https://qiita.com/hiro_koba_jp/items/299a6f97f5649b2d6daa)

[Twitter広告のレポートをBigQueryに自動同期し、Googleデータポータルで可視化する]
(https://qiita.com/hiro_koba_jp/items/e15bcf54e7d40a58d7ae)

[TikTok Ads(広告)のレポートをBigQueryに自動同期し、データポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/1e3df359e153ab7aa434)

[LINE広告のレポートをBigQueryに自動同期し、データポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/0910a4b7b49d93b12d4c)

CriteoのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する

Redshiftに統合

[Google広告のレポートデータをRedshiftに統合してLookerで可視化する]
(https://qiita.com/hiro_koba_jp/items/4a07e71b2319d2d8de74)

[Yahoo広告のデータをRedshiftに自動同期し、Lookerで可視化する方法]
(https://qiita.com/hiro_koba_jp/items/1c8950a6852c59b4ccdf)

[Facebook広告のデータをRedshiftに統合してLookerで可視化する]
(https://qiita.com/hiro_koba_jp/items/d95aafb81da6f4f53a0a)

分析ツール・SEO

Google Search ConsoleのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する

データベース

[PostgreSQL→BigQueryのデータ統合を、3分で実現する方法]
(https://qiita.com/hiro_koba_jp/items/896c755f9d7d1ce69081)

[MySQL→BigQueryのデータ転送を、出来るだけラクにやる方法]
(https://qiita.com/hiro_koba_jp/items/8839bfb4fd3726f61f5a)

[AzureのSQL ServerからGoogle BigQueryへの、クラウドの壁を超えたデータ転送をtroccoでやってみる]
(https://qiita.com/hiro_koba_jp/items/599932c32980c697d2d2)

MySQLのデータをCDC形式で転送し、BigQueryに統合する

[ElasticsearchのデータをBigQueryに転送し、データポータルで可視化してみる]
(https://qiita.com/hiro_koba_jp/items/495b045a89cd99ae5c1e)

ストレージ・クラウドストレージ

[S3→BigQueryのデータ転送を、出来るだけラクにやる方法]
(https://qiita.com/hiro_koba_jp/items/bf36313ffbe7d965afce)

ノンコーディングでS3のデータをRedshiftに入れ、Lookerで可視化する方法

S3上の分析データをLookerで可視化する最速タイムアタックやってみた

[FTP/FTPS/SFTPのデータをBigQueryに統合し、データポータル(旧DataStudio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/2149cd6f4f662cebce13)

クラウドサービス・SaaSアプリケーション

Google SpreadSheetのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する

[JIRAのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する]
(https://qiita.com/hiro_koba_jp/items/5010b182a5c34f1f7186)

AWS Cost ExplorerのデータをBigQueryに自動同期し、Googleデータポータル(旧Data Studio)で可視化する

以上のご覧頂いたの方法は全て troccoを使って、対応しています。
他にも様々なケースでの対応実績があります。
今後も随時追加していく予定です。
気になっている方は、是非2週間の無料トライアルも実施しているのでまずはお試しください。