脱ETLツール

Oh my teethではETLツールを複数使っていました。
SNS等に出稿している広告媒体データや自社サービスのユーザーデータをBigQueryで分析するためにサードパーティのサービスを使うわけです。

実際に使っていたのはStitchやSupermetrics、TROCCOなどです。

どれもGUI上でETLを設定できるので便利な反面、規模が大きくなると馬鹿にならない金額が掛かってきます。

Oh my teethでも年間にすると数百万円ほどETLツールに支払いをしていました。

マーケティングチームが消費する広告予算を考えると年間数百万円はそんなに大きくないという考え方もあるかもですが、マーケターではないエンジニアの私にとっては「データコピーするだけで数百万！？」という感情を捨てきれません。

実際にETLツールでETLを実行していた媒体は下記の通りです。

彼らのデータは必ずしも商用のETLツールを経由しないと取得できないわけではありません。
実際、これらの広告媒体はすべてAPIドキュメントが公開されており、やる気さえあれば自作することができます。

大変な点

まず挙げられるのは申請系です。
Facebook広告とMicrosoft広告以外は開発者プラットフォームからポチポチすればすぐ使えるようになるわけではありません。
特に大変だったのはGoogle広告で、英語でのやり取りはもちろん、自作するツールのサマリーを書いてPDFにして提出する必要があります。

他の広告媒体も基本的に用途や必要な理由を英語で記載して承認されるのを待つ必要があります。
自社に広告媒体の担当者を付けてもらえている場合は彼らも力になってくれるでしょう。

この申請が億劫で心が折れる人も一定数居るかと思いますが、申請が終わったら実装です。

これは各広告媒体のAPIドキュメントやSDKを参照してゴリゴリ進めていくことになります。
開発する人にマーケティングの知識がない場合は難易度に拍車を掛けます。

私もその辺りの知識は乏しかったため、マーケティングチームの人に手助けをしてもらいながら実装を進めました。

後は黙々と実装していくだけです。

実際に自作してみて良かったと感じている点がいくつかあります。

データ分析を行うエンジニアに広告データの知見が貯まるので、その後の分析業務の効率が上がったり精度向上に寄与します。これは会社にとっては結構大きいです。

ETLツールの場合、ETL間隔を短くすると追加課金になったりしますが、自作の場合はAPIのレートリミットを超えない限り自由です。これも結構大きいと思います。

最後にコストメリットですが、Oh my teethでは年間数百万円掛かっていたETLが自作によって年間数百円程度にまで落とすことができました。

もはや誤差レベルです。実行基盤としてはAWSのLambdaを使用しています。
下記の記事の仕組みをそのまま使っているので気になる方はこちらも見てみてください。

ETLツールはGUIで設定できて非常に便利です。

自社にエンジニアがいない場合は有力な選択肢となると思いますが、もし自社にエンジニアがいるのなら腕試しとしてやってみてはいかがでしょうか。

APIドキュメントを正確に理解して実装していくわけですが、難解な部分も多いので実装を完遂するのに要求されるエンジニアリングスキルはそこそこ高いと思われます。

それでも自社に貯まる知見やコストメリットを考えたらやってみる価値はあるんじゃないかなと思います。

個人的にETLツール自作勢が増えると嬉しいです。楽しいですよ！

今回はちょっと短いですが、別の機会に各媒体の広告APIの使い勝手だったりをランキングにした記事を書こうかなと思っています。完全にエンタメ記事になる予定ですがそちらも良かったらお楽しみに。

Oh my teethでは未来の歯科体験を創るために日々活動しています。

Techチームではより良いユーザー体験を提供するべく、Webフロントエンドからバックエンド、スマホアプリに機械学習モデルなど、さまざまなプロダクトを開発しています。

一緒に未来の歯科体験を創りませんか？興味がある方は是非こちらを確認してください。

カジュアル面談も可能なので気軽に応募してみてください！