動機

記事を読んで、浅学非才な私でも一部の内容に間違いがあることは気付いたが、誤りを指摘しているブクマが少ない印象を受けた。

なぜそのような印象を受けたのかを考えた結果、はてなブックマークはファクトチェックに厳しいという先入観がある気がしたので、この先入観が正しいか検証したい。

TL;DR

ファクトチェックしている:ファクトチェックしていない = 4:6

四捨五入して、おおむね上記の割合だったので正しくなかった。

集計中に集計対象のデータが更新されないことを担保するために、はてなブックマークエントリー情報取得APIを利用してJSON形式で情報を取得し、ファイルに保存する。

curl https://b.hatena.ne.jp/entry/json/http://blog.livedoor.jp/nwknews/archives/5731190.html | jq '.bookmarks | length' > bookmarks.json

ドキュメントにも記載の通り常に最新のデータが返ってくる訳ではないので、調査時点の最新件数は645件だったがAPI経由では442件しか取得できなかった。

JSON データはキャッシュを利用しているため、実際のエントリーの内容と異なる場合があります。ご了承ください。

最新情報を取得する方法が見つからなかったので、今回は442件を対象に集計する。

jqコマンドで集計したかったが、クエリの書き方の学習に時間がかかりそうだったので、外部サービスを利用してSQLに変換し、MySQLにINSERTした。

集計では以下の4パターンに分類した。

ファクトチェックをしているらしいエントリー
- 内容が正しいコメント（信頼性の高いソースが見つかった内容は正しいと判断）
- 「ググったら」などファクトチェックをしたことがわかるようなコメント
ファクトチェックをしているか、してないかわからない・ファクトに関係ないエントリー（感想など）
ファクトチェックをしていないらしいエントリー
- 誤った内容を前提としたコメント
- 誤った内容を信頼していると受け取れるコメント
コメントのないエントリー

主観に基づかない分類方法がわからないので止むを得ず主観に基づく。

分類した結果を以下の通り集計する。

62.9032258065%はネタ・感想・質問・関係のないコメントだった。

APIのレスポンスがJSONとはいえページング（スライス？）的な事してないのが意外だった
- バズってもエントリーの数が2000件行くことが少ないため、APIでのページングは不要という設計と推測
はてなブックマークの仕様を気にした事はなかったが、エントリー詳細ページに表示されてるコメント数が正しかったので必要以上に時間をかけてしまった気がする
結果的にファクトチェックをしていない人の方が若干多かったが、私の先入観は間違っていたと言えそうだ
- 間違った先入観を払拭できて良かった
分類・集計方法が正しいか自信がない、分類学・統計学について学習の必要がありそうだ
データは「誰のどのようなコメントを私がどう評価したか」がわかるため、コミュニティガイドラインに則って非公開にしておく