CyberAgent Ameba事業本部 広告プロダクトグループの星と申します。
主に広告計測やPrivacy保護関連を担当しております。
こちらは、CyberAgentメディア管轄の広告プロダクト横軸組織、通称PTAのアドベントカレンダー2021の16日目の投稿になります。
今年実行・推進したあるプロジェクトについて振り返りを兼ねて書かせていただきます。
プロジェクトについて
ざっくり言うと、主に広告コンバージョン(以降CVとします)の計測精度を向上させる事を目的としたプロジェクトです。
大きく以下の2つが問題点として挙がっており、こちらの解消が目的となっていました。
- 弊社側のCV計測が行えていない案件がある
- 弊社側で計測しているCV数と顧客側で計測しているCV数に乖離がある
組織構造と当時の状況
関係者や状況を図示すると以下のような感じです。（私は「エンジニアチーム」に所属しています）
営業チーム（コンサルタント・オペレータ）の方達で広告配信運用をしており、ざっくりとしたフローは、
- コンサルタント@営業チームの方達が顧客（代理店・広告主）と広告配信にあたっての諸々をやり取り
- オペレータ@営業チームの方達が管理画面で広告配信内容を設定しテスト後、広告配信を開始
- 問題があった場合にエンジニアチームへ問い合わせ
となっており、関係者の人数構成は以下になります。
- 営業チーム
- コンサルタント：11人
- オペレータ：7人
- エンジニアチーム：問題があった場合に主に私が対応。他の人にもヘルプで入ってもらう。
フローでいう、
3.問題があった場合にエンジニアチームへ問い合わせ
という部分で、CV計測ができない・乖離があるという問い合わせが結構な頻度でありました。
そちらを都度解消するというのが営業チーム（コンサルタント・オペレータ）・エンジニア両方でなかなかのコストになっていたという状況でした。
また今思うに、過去にはこちらがきちんと解消されないまま広告配信が行われ、
CV計測ができないので（結果、最適化も行えないので）効果が見合わず広告配信が継続できなかったといったケースもあったのではないかと思われます。
こういった問題を主に私と営業チームの方達で解消していくというプロジェクトになります。
原因調査と問題点
とにかく調査
まずはとにかく原因調査を徹底的に行いました。
※見せづらいところぼかしたらほとんど伝わらない状態になってるかもしれませんが。。。
CV計測できていない・乖離があるという顧客をリストアップ
リストアップした各顧客のサイト構造や現状を詳細に調査し、顧客単位で以下のような調査資料を作成（資料の一部抜粋）
原因分類
全ての調査結果を集めて整理すると、以下の3つの問題に分類できることがわかりました。
- 広告主サイトに効果計測用のタグが正しく埋められていない
- 広告主サイト遷移時にパラメータが持ち回れていない
- 広告主サイトで途中でドメイン(eTLD+1)が変わる
この問題を3大問題として定義し、
この**3大問題をどのように解消していくか？**というのがこのプロジェクトのポイントになると考えました。
※3大問題の詳細については、本筋とズレるのでここでは省略します
また**「3大問題」**というキーワードをプロジェクト内外で多用するようにして、プロジェクトでクリアすべき問題を明確にしていました。
プロジェクト内での問題認識の共有という点もあるのですが、プロジェクト外の方達に内容説明や進捗報告をする場が結構あり、
プロジェクト外の方達だと各問題の詳細まで理解してもらう必要が無いケースが多く、
例えば
- 3つ問題があって、そちらの対策に取り組んでいる
- 3大問題のうち、2つは対策完了できており、あと1つは対策中
みたいなコミュニケーションがしやすくなるので、プロジェクト外の人にも要点を伝えやすかったり、進捗を共有しやすくなるというメリットがありました。
（毎週の進捗共有でも、細かい内容は翌週には忘れてること多かったりもしますし。）
ゴール設計と実行計画
解消すべき具体的な問題が判明したのでプロジェクトのゴール設計と実行計画を立てました。
ゴール設計
前述の3大問題の根本は顧客とのすり合わせ不足・確認不足（確認方法がわからない）というところに起因しており、
「運用・顧客とのやりとり」は、営業チームに行ってもらっています。
この時に考えていたことを羅列すると
- 「運用・顧客とのやりとり」というのを前述の3大問題を解消しつつスムーズに行えるようにするのが、もっとも効果的と思える
- 「運用・顧客とのやりとり」を行う営業チーム内でより最適化を図っていけるチームとしたい（今後の様々な変更などにも適応していける組織としたい）
- コンサルタント各自でも知識・理解に結構な差があるのを高いレベルで平準化したい。
- 都度エンジニアが入って問題解決するには限界があり、今後スケールしなくなりそう。
というところであり、こちらを解消するために
問題を営業チーム内（コンサルタント・オペレータ）で解決でき、自己改善していける組織
をゴールとして設定しました。
現状の問題解決だけではなく、この先の変化にも適応していく。という意味合いを込めています。
また、プロジェクト関係者にも定期的に意識してもらうように、プロジェクト関係者がよく使う資料（後述の「これをみれば問題が解決できる資料」）の冒頭に以下を入れて目につくように。といったこともしてたりします。
プロジェクトでの自分の役割
前述のゴールを成立させるためには、
最終的にはエンジニアの私がこのプロジェクトから抜けた状態でもスムーズに回っていく
というのを目指すことになります。
なので、自分の役割を
プロジェクトの発射台となり、関係者としばらく並走し、ある程度プロジェクトが回るようになったら自分は抜けられるようにする。
と言語化・共有してプロジェクトを進めました。
実行計画
ゴールが決まったところで、成立させるためにどういう施策を立てて推進していくか？の実行計画を立てました。
各種施策については、いくつかピックアップして後述しますが、
各種施策を立案したら、関係者がプロジェクト全体や、問題点・各施策の意図を掴めるように可視化。
- 問題点(CV乖離の問題分類)
- 各問題点への点の対策(個別の問題への対策)
- 組織としての対策(継続的に対策精度を上げていく)
という大きな分類とそれに紐づく施策を可視化してプロジェクト全体感を掴んでもらいつつ、実行する各施策にどういう意味があるのか？
という意識共有を目的としています。
また、ロードマップを作り各施策の実行順序の可視化も大事。
各施策について
では、実際に行った施策の中でいくつかピックアップして紹介させていただきます。
理解度上げ
「運用・顧客とのやりとり」を行う、営業チーム（コンサルタント・オペレータ）の方達の理解度上げになります。
前提となる知識や前述の3大問題がなぜ起こっているのか？どう対処するのか？
といった内容になります。
こちらは、以下の手順で進めていきました
- 「これをみれば問題が解決できる資料」の作成
- 営業チームのリーダー陣への落とし込み・勉強会
- 営業チームのメンバーへの落とし込み・勉強会
- 営業チームの主担当の方との週次定例の実施
- 営業チームのメンバーの方達との週次定例の実施
- コミュニケーションを取りながら資料の拡充
1.「これをみれば問題が解決できる資料」の作成
資料のインデックスだけ。
もろもろの情報をこの資料に集約してあり、以降の勉強会の実施や問い合わせへの回答もこちらをベースに行いました。
何事もこの資料を通して共有・説明することで、最終的に自分が抜けても資料を見ることで解決できる
という下地を作るのを意識していました。
2.営業チームのリーダー陣への落とし込み・勉強会
前述で作成した「これをみれば問題が解決できる資料」の資料を元に営業チームのリーダー陣への勉強会を実施しました。
まずは、営業チーム側で重点的に理解している人を増やすという作戦です。
最終的には、その人達を中心にゴールとしている
「問題を営業チーム内（コンサルタント・オペレータ）で解決でき、自己改善していける組織」
を実現できるように。
ここで、その中でも特に理解の高かった方を営業チームの主担当としてもらいました。（以降Tさん）
ここからは主にこの方と協調してプロジェクトを推進していくことになります。
3.営業チームのメンバーへの落とし込み・勉強会
リーダー陣の理解がある程度深まったら、今度はメンバー全員への勉強会を実施しました。
こちらの資料は、前述の「これをみれば問題が解決できる資料」から特に重要な部分のみをピックアップした形になります。
また、こちらの勉強会の講師は、前述のTさんにお願いしました。
インプットだけでなく、アウトプットしてもらうことでより理解をより深めてもらうという狙いのアレです。
4.営業チームの主担当の方との週次定例の実施
各施策の進捗状況や懸念点の洗い出しを前述のTさんと毎週30分話す場を設けました。
メンバーが特に分かりづらいとしているような部分や、そちらへの対処方法、また対処への前提となる内容をどのように説明すべきか？
みたいなところを主にアジェンダとしていました。
こちらを元に、メンバーへの説明事項・内容をブラッシュアップしていくという感じです。
5.営業チームのメンバーの方達との週次定例の実施
こちらはメンバー全員との定例で毎週30分。
アジェンダとしては以下のような内容です。
- どんなことでもよいので質問をもらう
- 資料の伝わりづらいところ
- 現在運用している案件での疑問点・不明点
- 事例の掘り下げ
- 問題があった案件の原因詳細・対策事例の共有と議論
- 関連知識の向上
- Cookieってなに？
- トラッキングを取り巻く状況
- etc...
最終的には、ある程度の知識があってこそ出てくる質問が多くなってきており、だいぶ嬉しかったのを覚えています
6. コミュニケーションを取りながら資料の拡充
前述のように、プロジェクトを進めていく中で
- 指摘頂いた点
- 補足事項
- 顧客からの質問・回答例
- 発生した問題と対応事例
- etc...
を追加してくことで、
最終的には「これをみれば問題が解決できる資料」は、全185ページの膨大な資料となりましたw
そして、まだまだこれからもブラッシュアップされていく資料になります。
資料はGoogle Slidesなので資料の閲覧UUが見えるのですが、
この記事を書いている現時点でも資料を見てくれているUU数はそれなりにありそうです。
関係者全員で作っていった感のある資料に仕上がったんじゃないかなと思っています。
テスト環境整備
広告配信を始めるにあたって、CV計測が正しく行えるか？というテストを行う必要があるのですが、
営業チームのメンバーが当時でコンサルタント・オペレータ併せて18人ほどいた中で、テストを行える環境が1つしかないというのが発覚しました。
環境を使う順番を管理しながらテストを行っていたとのこと。。
環境を20個ほど準備して、スムーズにテストが行えるように整備しました。
一番の問題は、環境が1つしかなく運用でカバーしてくれているということ自体を知らなかったという点で、
それくらいコミュニケーションが取れていなかったんだなぁという反省でした。
ワークフローの整備
ワークフローを明確にして、3大問題への対策を盛り込んだ状態で整備しました。
もちろん全ての案件で完全にワークフローに則って進めることは出来ないという前提です。
ワークフローを明示し、どこのタイミングで何のチェックをするべきか？
というのが明確になっていれば、全体の流れ・必要なポイントを理解しやすく、応用も効きやすくなるはずという考えのもとで実施しました。
顧客（代理店・広告主）とのやり取り精度向上
これまでは、CV計測出来ない・乖離がある原因がイマイチ理解出来ていない部分があったので、
顧客（代理店・広告主）とのやり取りもふわふわとしたやり取りになっている様に自分の方には見えていました。
そこで、理解度上げに加えて、
前述のワークフローの中に顧客サイト診断を行う作業を追加しました。
テンプレートに沿って顧客サイト診断を行うと、結果として以下のような資料が作成され、3大問題の対策要・不要が判定できるといったものになります。
こちらを顧客と共有してコミュニケーションすることで、地に足をつけた対話を行い、問題点・対応事項を明確にするといった狙いになります。
この資料は営業チーム・エンジニアチームでも共有し、問題があった場合に調査する際にも有用な資料となっています。
また、3大問題で顧客側に対応して頂く内容についても資料化し、コンサルタントからそちらを顧客に渡して対応依頼してもらうことで、
依頼内容にブレが無く、依頼品質を均一化するといったことも行いました。（以下、一部抜粋）
（念の為ぼかしたら、意味が全くわからなくなりましたw）
結果について
2021/11いっぱいで営業チームだけで自走していけると判断し、私がハンドリングしていた諸々はひとまず終了しました。
広告配信状況などにもよるので、定量的に成果を測るのがちょっと難しいのですが、
CV計測ができない・乖離があるといった問い合わせはほぼなくなりました。
また、営業チームの方達の理解度もかなり上がっているように見え、
営業チームの方達からもかなり理解が進んで、作業がスムーズになったという声もいただいています。
振り返り
ゴールについて
まずは、ゴールとして設定していた
問題を営業チーム内（コンサルタント・オペレータ）で解決でき、自己改善していける組織
について。
まだまだ改善の余地はあるという前提ですが、
営業チーム主担当のTさんを中心に、チーム内で質問・回答する文化ができていたり、
ワークフロー改善の提案から改善実行まで行えていたりと順調に進んでいると言えます。
この点は、Tさんを始めとした営業チームの方達の努力・協力が非常に大きいと考えています。
早い段階で営業チームの主担当となる方と協調しながらプロジェクトを進めることができたのも良かったと考えます。
また、今回のプロジェクトを通して、営業チームの普段の仕事内容やどういう視点で仕事に取り組んでいるかを知ることができたのもとても勉強になりました。
プロジェクト進行について
- クリアすべき具体的な課題の抽出：最初の徹底的な調査
- 問題点の分類：3大問題
- ゴール設計：自己改善していける組織
- プロジェクトの共通認識：問題点・施策・スケジュールなどもろもろの可視化
- 情報の集約 : 「これをみれば問題が解決できる資料」
を準備した上で、
関係者に各施策の意図を明確にし、共有して具体性を持って実行できた点が良かったかと考えます。
関係者の人数が多かったというのもあり、混乱が無いようにすることはとても重要でした。
やはり何事も準備がとても大事。
反省点について
私の反省点としては、よくあるやつなんですが、エンジニア目線・言葉で説明することがすることが多く、
こちらとしては正確に間違いなく伝えていたつもりでも、実は相手は理解していなかったということが最初は多かったんじゃないかなと。
同じ内容の質問が何回もあったりしたのは、こういった理由もあったんだろうなと考えます。
正確に間違いなく伝えるというのも大事ですが、まずは相手に理解してもらうためには？という部分を考えて、結果として相手がなるべく早く自走していけるようにすることが大事だなと改めて思うところがありました。
今後について
所属するチームが違うとなかなか話す機会もなく、具体的な問題点や改善ポイントが見えなかったりするのですが、
このプロジェクトを通してみて、組織全体の効率化ポイントというのはまだまだありそうだなというのが実感です。
こういった点を推し進めて、より組織全体の改善を行っていければと考えています。
最後に
最後まで読んでいただきありがとうございました。
一緒に働いていただける方、絶賛募集中ですので興味のある方はこちらから是非！