やろうとしていたこと
ここしばらく、YouTube Data APIを使って動画データを集め、回帰分析を試してきました。
これまでの記事はこちらです。
- 第1回: YouTube動画はどんな要素が再生パフォーマンスに関連しているのか?
- 第2回: YouTube動画は「同じチャンネル内で当たる」のか?ロジスティック回帰で分析する
- 第3回: AIが勝手にロバスト標準誤差を入れてきたので、回帰分析コードを読んでみた
- 第4回: YouTube動画は「どのチャンネルか」でどこまで変わるのか?固定効果で回帰分析を見直す
- 第5回: 固定効果の次に、階層ベイズで「チャンネル差」をもう少し丁寧に見る
これは自分の中ではかなり大きな進捗でした。
YouTube Data APIでは、動画タイトル、概要欄、公開日、再生回数、チャンネル情報などを、ある程度まとまった件数で取得できます。このシリーズでは、最終的に1,000件を超える動画データを扱えました。
この件数が取れたことが大きかったです。数十件しかなければ、回帰分析を回してもかなり苦しいです。説明変数を増やしたり、チャンネル差を見たり、モデルを比較したりするには、ある程度の件数が必要になります。
YouTube Data APIでそれができたので、「公開APIや透明性データをうまく使えば、個人でも研究っぽい分析を進められるのではないか」という感覚が出てきました。
そこから少し発展して、広告クリエイティブも集められないかと考えました。企業やサービスがどんな訴求をしているのか、広告データから見られないかと思ったわけです。
見たかったのは、たとえばこういうものです。
- 広告主
- 広告文
- 画像・動画
- 配信期間
- 地域
- 広告フォーマット
アプリ、ゲーム、EC、金融、教育などのカテゴリで、どんな広告が出ているのか。どの企業がどのサービスを押しているのか。どのような訴求が並んでいるのか。
Google Ads Transparency Center のような広告透明性ライブラリを使えば、かなり面白いデータになるのではないかと思っていました。
結論から言うと、日本にいる個人が、低いハードルで、研究に使いやすい広告クリエイティブデータを集めるのはかなり難しそうでした。
触ったもの
今回見たのは、このあたりです。
| 対象 | 見えたこと |
|---|---|
| Google Ads Transparency Center の Web UI | 日本企業の広告主ページや広告クリエイティブは見える |
| Google Ads Transparency Center の BigQuery Public Dataset | データ自体は取得できるが、確認した範囲では EEA 中心で JP は返らなかった |
| Meta Ad Library API | 日本の一般商用広告はAPI取得対象から外れているように見える |
| TikTok Research API / Commercial Content API | 日本在住・日本所属の研究者が低ハードルで使える入口ではなさそう |
| YouTube Data API | 動画メタデータは取りやすいが、広告動画そのものを自由に集めるものではない |
広告ライブラリは、画面上で検索して確認するだけなら使えます。
ただ、それをビッグデータとして抽出し、広告文、画像、動画、表示期間、地域、広告主などをまとめて解析するとなると、急に難しくなります。
Googleはかなり期待していた
最初に見たのは Google Ads Transparency Center です。
- Google Ads Transparency Center: https://adstransparency.google.com/
Web UI 上で広告主名を検索すると、日本企業の広告主ページも表示されます。実際に、ある日本企業では数千件規模の広告が確認できました。
広告詳細ページでは、少なくとも次のような情報が見えました。
- 広告主名
- 広告主ID
- クリエイティブID
- 最終表示日
- 広告フォーマット
- 広告テキスト
- クリエイティブURL
ここはかなり期待しました。
Googleの広告データが使えれば、Search、YouTube、Google Play、Maps、Shopping など、Metaよりも広い面にまたがる広告の動きを見られる可能性があります。SNS広告だけでなく、検索、動画、アプリ、地図、購買に近い面まで含めて、企業やサービスのプロモーション動向を追えるかもしれません。
ただ、Web UI で見えることと、研究用に安定してデータ取得できることは別でした。
BigQueryで見たらJPが返らなかった
Google Ads Transparency Center には BigQuery Public Dataset があります。
- BigQuery Public Datasets: https://cloud.google.com/bigquery/public-data
- Google Ads Transparency Center dataset: https://console.cloud.google.com/marketplace/product/bigquery-public-data/google-ads-transparency-center
BigQuery 側にも接続し、データ自体は取得できるようになりました。
bigquery-public-data:google_ads_transparency_center
location: US
テーブルは2つです。
creative_stats
removed_creative_stats
creative_stats には、広告主ID、クリエイティブID、クリエイティブURL、広告フォーマット、広告主名、地域別の表示情報などが入っていました。
日本地域のデータが入っているかを見るため、region_code に JP と EEA が含まれるか確認しました。
ちょっと余談ですが、このくらいのSQLを書くときに生成AIはかなり便利です。SQL自体は単純ですが、「ネストした列を UNNEST して、地域コードごとに件数を見る」といった小さな確認を、手を止めずにすぐ形にできるのは助かります。
SELECT region_code, COUNT(*) AS creatives
FROM `bigquery-public-data.google_ads_transparency_center.creative_stats`,
UNNEST(region_stats) rs
WHERE region_code IN ("JP", "EEA")
GROUP BY region_code
ORDER BY region_code
返ってきたのは、確認した範囲では EEA のみでした。
EEA: 167,183,580
JP: 返らず
Web UI 上では日本企業の広告ページが見えます。けれども、BigQuery Public Dataset で同じように日本の商用広告を取れるとは限らないようです。
少なくとも触った範囲では、BigQuery 側のデータは EU / EEA、つまりDSAなどの透明性要請に対応したデータに寄っているように見えました。
欧州の透明性研究をするなら、これはかなり有用なデータセットだと思います。広告の地域、表示期間、表示回数レンジ、配信面などを大規模に扱えます。
ただ、今回やりたかった「日本の一般商用広告クリエイティブを横断的に見る」という目的には、そのままでは使いにくそうでした。
Metaは公式条件の時点で厳しそう
Meta Ad Library API も確認しました。
- Meta Ad Library: https://www.facebook.com/ads/library/
- Meta Ad Library API: https://www.facebook.com/ads/library/api/
Metaについては、最初からGoogleほど期待していませんでした。公式の説明を見る限り、日本の一般商用広告を横断的に取る用途とは合いにくそうだったからです。
Meta Ad Library API で検索できる対象は、世界中の社会問題・選挙・政治広告と、EU / UK に配信された広告が中心です。つまり、日本の一般商用広告を横断的に取る用途は、公式の対象範囲から外れているように見えます。
一部、手元でも試しましたが、そこは本質ではありません。権限以前に、日本の一般商用広告を取るデータソースとしては、公式条件の時点でかなり難しそうです。
TikTokは日本からの研究利用が厳しそう
TikTokも一応見ました。
- TikTok Creative Center: https://ads.tiktok.com/business/creativecenter/
- TikTok Research API: https://developers.tiktok.com/products/research-api/
- TikTok Commercial Content API: https://developers.tiktok.com/doc/commercial-content-api-getting-started/
- TikTok Commercial Content API supported countries: https://developers.tiktok.com/doc/commercial-content-api-supported-countries/
TikTok Creative Center は、広告事例を眺める用途なら参考になります。
広告データに近いものとして Commercial Content API もあります。ドキュメントを見ると、広告ID、初回表示日、最終表示日、ステータス、動画URL、画像URL、リーチ、広告主名などをフィールドとして指定できるようです。
ただ、ここも日本から簡単に使える入口ではなさそうでした。
Research Tools のページでは、申請できる研究者の条件がかなりはっきり書かれています。対象地域や所属機関の条件があり、研究分野での経験、非営利・公共目的での研究、研究資金の開示、研究計画、データセキュリティ、倫理審査の証明などが求められます。
トップページの表現も、軽い開発者向けAPIというより、研究者審査の入口です。対象は "qualifying researchers in the U.S., Europe and Brazil can apply" とされ、申請後は "within 4 weeks of submission" を目安に返答、博士課程学生には "endorsement letter from a professor or dissertation advisor" が必要と書かれています。
この時点で、日本在住・日本所属の研究者は、公式条件上は応募対象に入っていないように見えます。日本国籍かどうかではなく、対象地域・対象機関に所属しているかが問題になります。
ここは、自分の現状と照らしても大きな壁です。
私は今、研究者として大学や研究機関に所属しているわけではありません。所属企業はありますが、この研究は企業活動とは切り離した個人の取り組みです。そのため、「研究機関に属している研究者である」とは示せません。
独立した研究者として通すなら、査読付き論文の実績、学会での発表実績、英語で確認できる研究成果などを揃えるのが王道だと思います。申請先から見れば、「この人は本当に公共目的の研究を継続的に行う研究者なのか」を判断する必要があるからです。
しかし、スタート地点でそれを示すのはかなり難しいです。
Commercial Content API 側も、承認済みの research project に対して research client が発行され、その client key / client secret を使ってアクセストークンを取得する流れです。通常の開発者登録をしてすぐ使うAPIではありません。
supported countries も、確認したページでは EU、EEA、Continental Europe が中心で、少なくとも日本は見当たりませんでした。
YouTubeは使いやすいが、広告そのものではない
YouTube Data API は、比較的扱いやすい公式APIです。
- YouTube Data API v3: https://developers.google.com/youtube/v3
動画タイトル、概要欄、チャンネル、公開日、再生回数などのメタデータは取得できます。検索や動画一覧取得を組み合わせれば、日本語圏の動画データ分析もしやすいです。
PR動画やタイアップ動画の分析であれば、概要欄の「提供」「PR」「タイアップ」などの表記や、有料プロモーションに関するシグナルを使う方向が考えられます。
ただ、これは広告ライブラリとは別物です。YouTube Data API で取れるのは、基本的にはYouTube上の公開動画のメタデータです。広告として配信された動画クリエイティブそのものを自由に大量取得できるわけではありません。
日本で現実的に進めるなら、どうしてもこの方向に寄りやすいのだと思います。
日本とEUでは見えているデータが違う
先行研究を見ても、日本とEUでは、使えるデータの出発点がかなり違うように見えます。
日本の一般商用広告を対象にしようとすると、広告透明性データをそのまま横断的に使った研究は見つけにくいです。現実的には、YouTubeやSNS投稿のメタデータを集めて、PR、提供、タイアップ、sponsored、アフィリエイトURLなどをテキスト処理や機械学習で検出する方向に寄りやすくなります。
たとえば、日本でブランドやプロモーションを研究するなら、YouTube Data APIで動画タイトル・概要欄・チャンネル情報を集め、それがPRなのか、スポンサードなのか、アフィリエイトを含むのかを判定しながら進める形になります。
この方向に近い例としては、YouTubeやPinterestのアフィリエイト広告開示を、説明文やリンクから検出していく研究があります。
- 公開動画・投稿から広告開示やアフィリエイト性を判定する研究: Endorsements on Social Media: An Empirical Study of Affiliate Marketing Disclosures on YouTube and Pinterest
これは、広告そのものを取得しているというより、公開されている動画や説明文から「これは広告・プロモーションなのか」を推定する研究です。日本でやるなら、この型にかなり寄りやすいと思います。
一方で、EU側では、DSAなどの影響もあり、広告透明性データに直接触れる研究が出てきています。日本のように公開投稿から広告らしさを推定するだけでなく、広告ライブラリやBigQuery上の透明性データから、広告表示や配信情報に近いものを扱える場合があります。
今回の目的に近そうに見えたのは、EUのアプリストアにおける広告透明性を扱った研究でした。
- Google Ads Transparency Center / BigQuery などを使い、EUアプリストアの広告透明性を検証した研究: Ad Personalization and Transparency in Mobile Ecosystems
これは「広告クリエイティブから企業マーケティングのトレンドを分析する」研究そのものではありません。ただ、対象がアプリストアやアプリ広告の透明性であり、商用サービスのプロモーション環境に近いです。日本側の例と手法の発想はそこまで遠くありません。広告やプロモーションの実態を外部から観測したい、という点では似ています。
ただ、EU側では Google Ads Transparency Center / BigQuery のような透明性データを使えるため、広告がどのように表示されているかをより直接的に検証できます。日本では公開APIから取れる投稿メタデータを工夫して分析する。EUでは透明性データに直接触って、広告配信そのものに近い情報を分析できる。最初から見えているデータの粒度が違います。
制度の差も大きそう
EUの動きは、単に「データ利用を厳しく制限している」だけではなさそうです。
GDPRでは、個人データの取り扱いや域外移転を厳しくしつつ、科学研究・歴史研究・統計目的の処理については、適切な保護措置のもとで扱う枠組みも置かれています。
- GDPR Article 89: https://gdpr-info.eu/art-89-gdpr/
データを無制限に流通させるのではなく、EU域内で管理し、公共性のある目的では合理的に使えるようにする。DSAによる広告透明性データや研究者アクセスも、その延長線上にあるものとして見ると理解しやすいです。
日本では、ユーザーが日常的に使っているSNSや広告プラットフォームの多くが海外企業のサービスです。データがどこで保存・処理され、どの国の制度のもとで研究利用できるのかを、ユーザーが意識する場面はほとんどありません。
さらに、日本の研究者が「日本のユーザーや日本市場に関する情報」として、それらのデータにアクセスできる制度的な入口も見えにくいです。
国内で可能性があるとしたら、LINEヤフーあたりは気になります。
- LINEヤフー広告 API: https://ads-developers.yahoo.co.jp/ja/ads-api/
- LINEヤフー広告 API 利用約款: https://s.yimg.jp/images/marketing/portal/paper/20260401_c_fin_lyadsapi_termsuse.pdf
- ヤフー・データソリューション: https://ds.yahoo.co.jp/
- DS.ANALYSIS 大学・研究機関向け: https://ds.yahoo.co.jp/service/analysis/academy.html
LINEヤフー広告 API は、検索広告・ディスプレイ広告の運用、キャンペーンや広告の管理、パフォーマンスレポート表示など、広告主や代理店の運用効率化が主な用途です。他社の広告クリエイティブや広告出稿状況を横断的に研究するためのAPIではなさそうです。
一方、ヤフー・データソリューションには大学・研究機関向けのルートがあります。検索データや位置情報などの統計情報を研究に使う方向です。ただ、広告クリエイティブそのものを取得するものではありません。広告研究というより、検索行動や位置情報から市場・消費者行動を分析する方向に近そうです。
国内で可能性があるとしたらLINEヤフーは候補になります。ただ、EUの広告透明性データのように、広告主、広告文、配信期間、表示地域、クリエイティブURLを横断的に取れる仕組みとは別物です。
SNSデータは簡単に取れる、という誤解
SNSや公開情報を使ったマイニングというと、外からは「ビッグデータがすぐ手に入る」ように見えがちです。
メディアでは、ビッグデータ、機械学習、ディープラーニングを使った研究成果が華やかに紹介されます。大量の投稿を集めて、モデルを作って、社会の傾向を読み解く。そういう話だけを聞くと、SNS上に出ている情報は簡単に収集・分析できるように見えます。
でも、実際に同じような仕組みを動かそうとすると、最初にぶつかるのはモデルではなくデータ取得です。
- APIで取れる範囲が限られている
- 承認制APIに通らない
- 研究機関所属や倫理審査が求められる
- 地域によって公開範囲が違う
- 画像や動画の保存・再利用が難しい
- 規約や再現性を確認する必要がある
- 欲しい変数が構造化されていない
この泥臭さは外から見えにくいです。論文や記事では、分析結果やモデルの部分が目立ちます。その前段にある「データをどう取るか」「取ってよいのか」「どこまで再現できるのか」という戦いは、あまり表に出ません。
ここに認識のギャップが生まれます。
マネジメント層が、メディアで見たAI活用事例やビッグデータ分析の印象から、「SNSに出ている情報なら簡単に取れるだろう」と考える。一方で、現場はAPI制限、承認、規約、データ欠損、取得コストに向き合っている。
広告やSNSデータを使った研究では、モデル以前に、データ取得の難易度をどう見積もるかが大きな論点になります。今回も、まさにそこで詰まりました。
今のところ、日本でやるなら、広告ライブラリをそのまま使うよりも、YouTubeのPR動画、SNS投稿、アプリストア、レビュー、あるいは観測実験などを組み合わせて、「広告そのもの」ではなく「プロモーションの痕跡」を分析する方向が現実的そうです。
ただ、これは本来見たかったものをそのまま見ているわけではありません。
プロモーションで本当に測りたかったものを、YouTubeのPR動画やインフルエンサー投稿の分析という代理変数に加工して、そこから何とか言えることを言う。制約がある中で研究を進めるなら、そういう姿勢は大切だと思います。
でも、それは「SNSにはビッグデータがあるから、広告やプロモーションの実態をそのまま見られる」と思っていた世界とは、やっぱり少し違うのではないでしょうか。