Using LLMs to Infer Non-Binary COVID-19 Sentiments of Chinese Micro-bloggers
今回は、最新の研究成果である「Using LLMs to Infer Non-Binary COVID-19 Sentiments of Chinese Micro-bloggers」という論文をご紹介します。この研究は、中国のソーシャルメディアWeiboを対象に、COVID-19パンデミック初期の投稿を分析し、感情変化を追跡したものです。本研究は、大規模言語モデル（LLM）を活用し、従来の感情分析では捉えきれなかった「皮肉」などのニュアンスを分析することで、社会的・政治的影響を明らかにしています。
論文情報
- タイトル: Using LLMs to Infer Non-Binary COVID-19 Sentiments of Chinese Micro-bloggers
- リンク: arXiv:2501.05423
- 発表日: 2025年1月9日
- 著者: Jerry Chongyi Hu, Mohammed Shahid Modi, Boleslaw K. Szymanski
- DOI: なし
背景と目的
COVID-19とソーシャルメディア
COVID-19パンデミックは、公衆の健康だけでなく、情報拡散や社会的分断の観点からも世界に大きな影響を与えました。特にソーシャルメディアでは、次のような現象が観察されました：
-
デマやフェイクニュースの拡散
不確かな情報が瞬時に広がり、混乱を引き起こしました。 -
検閲と自己検閲
Weiboなど中国のプラットフォームでは、政府主導の検閲だけでなく、ユーザー自身が「危険」とみなされる内容を避ける傾向が強まりました。
Weiboは中国で最も利用者数の多いソーシャルメディアの1つであり、COVID-19の初期段階で投稿された膨大なデータは、パンデミックが社会や個人に与えた影響を理解するための重要な手がかりとなります。
研究の焦点
本研究では、次の3つの焦点に取り組んでいます：
-
LLMを用いた感情分析
従来のポジティブ、ネガティブ、中立の分類に加え、「皮肉」という新しい感情カテゴリを導入しました。この新しいカテゴリは、中国特有の文脈や言語的ニュアンスを捉えるために重要です。 -
データセットのクリーニングと分類
Weibo COVID-19データセットに含まれる400万件以上の投稿をデータクリーニングし、投稿の種類（重複投稿、リポストなど）を精査した上で分類しました。 -
パンデミック初期の感情ダイナミクスの解析
時系列データを基に、感情の変化や社会的イベントが感情に与える影響を分析しました。
実験の概要と結果
データセットの詳細
Weibo COVID-19データセットは次のように構成されています：
- 総投稿数: 4,049,407件
- ユニーク投稿数: 2,226,667件
- 重複投稿数: 877,031件（プロパガンダやスパムが含まれる可能性）
- リポスト数: 945,709件
データは以下のフィールドを含むJSON形式で整理されました：
- 投稿内容（本文）
- タイムスタンプ
- ユーザーID
- 使用デバイス情報
クリーニング手法:
重複投稿やスパムを特定するため、以下の手法を用いました：
- 文字列比較による完全一致検出
- スペースや特殊文字の挿入による変化を含む類似投稿の識別
モデルの詳細と少数ショット学習
使用モデル: Llama 3 8B
少数ショット学習法を採用し、5つのラベル付き例をモデルに提示しました。プロンプト設計の例を以下に示します：
"You are a bot designed to judge Chinese sentences as having positive, negative, sarcastic, or neutral sentiment."
モデルの性能は次の通りです：
- 全体F1スコア: 78.39%
- 皮肉カテゴリのF1スコア: 42.86%
皮肉感情の精度が低い理由として、以下が挙げられます：
- サンプル数が少ない。
- 言語的に高度な表現が含まれるため分類が困難。
主な結果
1. 感情の分布
- ポジティブおよび中立の感情: 全投稿の80%を占める。
- ネガティブおよび皮肉感情: 重複投稿を除外すると増加。
2. パンデミック初期の感情変化
COVID-19の発生に伴い、ポジティブな投稿が急増しました。この現象は次の要因によるものです：
- 政府による情報発信: 感染対策の有効性を強調する投稿。
- 市民の連帯感: 「共に困難を乗り越えよう」というメッセージが多く見られました。
3. エントロピー分析
$$
\text{Entropy} = -\sum_{i} p_i \log(p_i)
$$
- ポジティブ/中立のエントロピー: 政府投稿由来で類似性が高いため低い。
- ネガティブ/皮肉のエントロピー: 個人投稿が多く多様性が高いため高い。
応用可能性と限界
応用可能性
- 危機管理: 政府や企業が公衆の感情動向を把握し、適切な対応を計画するために有用。
- マーケティング: ソーシャルメディアの感情分析を活用した消費者インサイトの獲得。
研究の限界
- 皮肉感情の分類精度が低い。
- 検閲や自己検閲の影響を完全に排除できない。
将来の課題
- LLMを用いた多言語対応。
- 皮肉やアイロニーを精度高く分類する新手法の開発。
この記事が、皆さんの研究や実務に役立つことを願っています。ご質問やフィードバックがありましたら、コメント欄にお寄せください。