0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

TikTok の動画 56 億本・460 GB のデータセットを、落とさずに「地域が日本」の 1 年分だけ読んで探索してみた

0
Last updated at Posted at 2026-10-06

Hugging Face に、TikTok の公開動画 56 億本分の情報(尺、キャプション、視聴数など 31 列、合計 460 GB)を集めたデータセットが公開されています。この 460 GB を手元に落とさずに、地域が日本の直近 12 か月分(371 万本。データセット全体の 0.07%)だけを読み、調べる軸を先に決めない探索的データ分析をしました。絞り込みは、言語ではなく、TikTok が動画に付けた地域(country 列)で行っています。そのため、対象には日本語以外の動画も多く含まれ、日本語と判定された動画は 29% です(不明が 36%、英語が 19%)。上位 1% の動画が総視聴数の 70% を占めること、尺が 60 秒を超えると視聴数の中央値が大きく上がること、人気の音源に乗っても視聴数は上がらないこと、などが見えました。読み方の仕組みと、図で見た結果をまとめます。本作業の大半を Claude Code で実行・文書化したものです。何を調べるかの判断と結果の確認は筆者が行い、図の注記の数値は元データと突き合わせました。

データと、この記事の前提

  • データセットは datasocial/tiktok-5.6B-videos(作者: datasocial、ライセンス: CC BY-NC 4.0)です。この記事は非営利の技術記事で、載せるのは筆者が行った集計の結果と、筆者が作った図だけです。動画やキャプションの本文、投稿者の情報は載せません。
  • 対象は「地域が日本」の動画で、「日本語の動画」ではありません。地域で絞ったのは、このデータが国の順に並んでいて、国で絞ると読む量が 100 分の 1 になるからです。言語で絞ると行グループを飛ばせず、言語が不明の 36% も捨てることになります。
  • 371 万本は多く見えますが、日本の投稿のごく一部です。データセットの直近 12 か月分 17.2 億本のうち、地域が日本は 0.22% しかありません。一方、日本の月間利用者は 4,200 万人超(TikTok の 2025 年 11 月の発表)で、世界の利用者(推定 13.7 億〜16.7 億人)の 2.5〜3% にあたります。利用者の割合に比べて、日本の動画は 10 分の 1 ほどしか集められていません。
  • データは、提供元がクロールで集めた一部で、全数ではありません。集め方は公表されておらず、日本の投稿全体を代表するかは分かりません。
  • この記事の結果から分かるのは、一緒に動く関係だけで、原因は分かりません。「尺を伸ばせば視聴数が増える」のような読み方はできません。

用語

用語 意味
取得 動画の視聴数などの数値を、データ提供元が読み取って記録すること。「取得までの日数」は、動画の投稿からこの記録までの日数
地域が日本 TikTok が動画に付けた地域が日本のもの。日本語の動画とは限らない(言語は、日本語が 29%、不明が 36%、英語が 19%)
属性が揃った記録 画面の幅と高さが 0 でない記録。AI 生成かどうか、案件かどうかなどの属性も入っている。幅と高さが 0 の記録は「属性が欠けた記録」で、古い動画を別に集めた分と見られる
反応率 (いいね+コメント+シェア+保存)÷ 視聴数
中央値 並べたときの真ん中の値。視聴数は少数の動画に大きく偏るので、平均ではなく中央値で見る
上位 10% の入口 大きい順に並べて、上位 10% に入る最小の値
重要度 特徴量(尺、キャプションの長さなど、動画の特徴を表す項目)の値をばらばらに入れ替えたとき、予測モデルの当てはまり(決定係数 R²)がどれだけ下がるか。大きいほど、予測への寄与が大きい

460 GB を落とさずに日本だけを読む仕組み

Hugging Face は、SQL を受けて集計するサーバーを持たず、ファイルを配るだけです。そこで、手元の Docker で DuckDB を動かし、hf:// で始まるパスでファイルを指定します。DuckDB は、Parquet ファイルの末尾にある目次を読み、必要な列と行グループ(約 100 万行ずつの区切り)だけを HTTP の範囲指定で取ってきて、手元で集計します。読んだデータはメモリを通るだけで、ディスクには残りません。

SELECT * FROM 'hf://datasets/datasocial/tiktok-5.6B-videos/data/2026-09.parquet'
WHERE country = 'JP'

このデータセットは、ファイルの中が国の順に並んでいて、行グループごとに国の範囲が分かれています。そのため、国を日本に絞ると、1 か月分 96 個の行グループのうち 2 個だけを読めば済みます。一方、投稿日時はどの行グループも月の全域にまたがっていて、期間で絞っても行グループを飛ばせません。どの列・どの条件なら読む量が減るかは、クエリを流す前に、各ファイルの末尾の統計(列ごとの圧縮サイズと、行グループごとの最小値・最大値)を集めて見積もれます。12 か月・全 31 列で、見積もりは 1.58 GB(国で絞らなければ 150 GB)、実際の読み取りは 104 秒でした。

使ったデータの件数

段階 件数
データセット全体(2014-07〜2026-09) 5,596,407,686
直近 12 か月(2025-10〜2026-09)、全世界 1,724,395,780
そのうち、地域が日本 3,716,168
そのうち、属性が揃った記録 430,229

探索の手順

調べる軸(尺、投稿時間帯など)を先に決めず、全 31 列を同じ条件で扱いました。順に、全列の分布と欠損、視聴数との関係を 1 変数ずつ、木の勾配ブースティング(木を何本も重ねる予測モデル)による要因の順位づけ、決定木とクラスタリングによる集団の発見、時間・ハッシュタグ・音源の集計、外れ値の確認です。図は 25 枚になったので、ここでは 10 枚に絞ります。

図で見る結果

視聴数に関係するもの

図 1: 視聴数の集中

図 1: 視聴数の集中。上位 1% の動画が総視聴数の 70% を、上位 10% が 96% を占める。

図 2: 数値の特徴量ごとの、視聴数の中央値(帯は四分位)

図 2: 数値の特徴量ごとの、視聴数の中央値(帯は四分位)。属性が揃った記録では、尺が 60 秒を超えると視聴数の中央値が大きく上がる(最大 14,245)。同じキャプションの使われた数が多いほど、中央値は下がる(4,588 から 289)。音源の使われた数は、全体では視聴数の中央値とほぼ関係がなく(529〜628)、属性が揃った記録では、おおむね多いほど高い(1,980〜8,242)。

図 3: 特徴量ごとの、効果の大きさの順位(水準間の視聴数の中央値の比)

図 3: 特徴量ごとの、効果の大きさの順位(水準間の視聴数の中央値の比)。全体で差が大きい上位は、縦横比 17.6 倍、案件の種別 10.7 倍、月 9.7 倍である。属性が揃った記録の上位は、広告×ショップ 19.3 倍、言語 17.7 倍、推薦から外れた印 10.1 倍、画面の幅 7.2 倍である。

図 4: 要因のグループごとの重要度

図 4: 要因のグループごとの重要度。視聴数の重要度は、全体では、同じキャプションの重複、キャプションの形、動画の形の順に大きい。属性が揃った記録では、言語、動画の形、投稿日・取得までの日数が上位に来る。反応率の重要度は、全体ではキャプションの形と言語、属性が揃った記録では言語と動画の形が大きい。評価の決定係数は 0.34〜0.40 である。

図 5: 投稿の時刻と曜日(日本時間)

図 5: 投稿の時刻と曜日(日本時間)。投稿は 18〜20 時に集中し、視聴数の中央値も同じ時間帯が高い。

図 6: 音源の使われた数の分布と、視聴数との関係

図 6: 音源の使われた数の分布と、視聴数との関係。動画の約 66% は、使われた数が 1 回の音源を使っている。使われた数ごとの視聴数の中央値は 520〜627 で、ほぼ平らである。

図 7: キャプションの重複(空を除く)

図 7: キャプションの重複(空を除く)。キャプションのある動画の約 74% は、同じキャプションが 1 回しか使われていない。視聴数の中央値は、1 回の 756 から、1,000 回以上の 102 へ下がる。反応率の中央値は、1 回が最高(0.044)である。

このデータの癖

図 8: 月別の動画数と、記録の性質

図 8: 月別の動画数と、記録の性質。属性が揃った記録の割合は、2026-06 までは 5% 未満(1.4〜4.6%)だったが、2026-07 に 25%、2026-09 には 69% になる。案件・アフィリエイトのフラグが付いた動画の割合も、2026-06 までは 0.1% 未満で、2026-07 から 1% を超える。

図 9: 列ごとの欠損とゼロの割合(月別)

図 9: 列ごとの欠損とゼロの割合(月別)。シェア 0 の動画の割合は、78%(2025-10)から 44%(2026-09)へ下がる。ダウンロード 0 の動画の割合も、99% から 72% へ下がる。属性が欠けた記録と AI フラグが欠損した記録の割合は、ほぼ同じ推移をたどる。

図 10: 視聴数の分布(全体と、記録の性質ごと)

図 10: 視聴数の分布(全体と、記録の性質ごと)。属性が揃った記録は、視聴数の分布が右(大きい値)へずれる。視聴数 100 未満の動画の割合は、属性が欠けた記録が 11.4%、揃った記録が 3.1% である。

このデータから言えること

  1. 視聴数は、少数の動画に大きく偏ります。上位 1% の動画が総視聴数の 70% を、上位 10% が 96% を占め、中央値は 560 回です(図 1)。「平均視聴数」は、ほぼ意味を持ちません。
  2. 尺が 60 秒を超えると、属性が揃った記録の視聴数の中央値が大きく上がります(尺で区切った帯ごとの中央値は、60 秒未満が 1,545〜4,406、60〜162 秒が 5,226〜14,245)。約 180 秒を超えると下がります(図 2)。
  3. 同じキャプションを使い回した動画ほど、視聴数の中央値が低くなります(1 回だけの 756 に対し、1,000 回以上は 102)。空のキャプションも低い(751。あるものは 3,734)です(図 2、7)。
  4. 音源は、動画の約 66% が 1 回しか使われていないものを使い、使われた数ごとの視聴数の中央値は 520〜627 でほぼ平らです。人気の音源に乗っても、視聴数の中央値は上がりません(図 6)。
  5. 属性が揃った記録で、視聴数の違いを最もよく分けるのは言語です(中央値は、日本語が 13,086、言語不明が 800)。次に、動画の形(尺・画面)と、投稿日・取得までの日数が続きます(図 3、4)。
  6. 属性が揃った記録では、広告があってショップでない動画の視聴数の中央値は 17,052 で、広告もショップもない動画(3,237)より高くなります。推薦から外れた印がある動画は 301 で、ない動画(3,430)より低い値です(図 3)。広告の視聴数は広告費の影響を受けている可能性がありますが、データでは確かめられません。
  7. 投稿は日本時間の 18〜20 時に集中し、視聴数の中央値も同じ時間帯が高くなります。曜日による視聴数の差は、全体で 530〜577 と小さい値です(図 5)。
  8. 視聴数と反応率は、別の動きをします。順位相関は 0.05 で、反応率の重要度は、言語とキャプションの形が大きくなります(図 4)。
  9. モデルで説明できるのは、視聴数のばらつきの約 4 割(決定係数 0.39〜0.40)、反応率の 3〜4 割(0.34〜0.37)です。残りは、動画の中身など、データにない要因によります(図 4)。

注意して読む点も 2 つあります。

  • データには、性質の違う 2 種類の記録が混ざります。属性が揃った記録は全体の 11.6% で、2026-06 までは 5% 未満、2026-09 は 69% です。揃った記録は視聴数 100 未満の割合が 3.1%(欠けた記録は 11.4%)で、視聴数の分布が右へずれます(図 8〜10)。
  • 月ごとの推移は、記録の混ざり方の変化を含むので、そのまま読めません。属性が揃った記録の視聴数の中央値が、2026-05 までの 7,900〜12,600 から、2026-06 以降に 2,600〜4,500 へ下がるのも、その一例です(図 8)。

作る側が使える目安

関連であって原因ではない、という前提で、このデータから読める目安です。

  • 尺は、1 分を少し超えるあたりの視聴数が高く、3 分を超えると下がります。
  • 同じ文のキャプションを使い回す投稿と、空のキャプションは、視聴数が低い側に入ります。
  • 人気の音源に乗る効果は、視聴数の中央値には見えません。
  • 投稿は 18〜20 時に集中し、その時間帯の視聴数も高い。空いている時間帯を狙う利点は、このデータからは見えません。
  • 見られることと、反応されることは別です。反応率は、言語とキャプションの作りに左右されます。

限界

  • データは、提供元がクロールで集めた一部で、収集のまとまりごとに記録の性質が変わります(図 8〜9)。
  • 属性が欠けた記録が 88% あります。AI フラグや案件のような属性は、揃った記録(12%)の値です。
  • 投稿者を特定できる列が無く、少数の投稿者による偏りは確かめられません。キャプションの内容(題材や語)は読んでいません。
  • 対象は地域が日本の動画で、日本語の動画は 29% です。日本語の動画だけを見たい場合は、言語で絞り直す必要があります。

出典

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?