概要

日常生活に深く浸透しつつある対話型 AI。その利用拡大には、隠れたバイアスや固定観念を助長したり、特定グループへの不当な扱いといったリスクも伴うため、倫理的な AI を実現するには、こうしたシステムが内包するバイアスの理解と、人間の価値観と一致させる徹底した注力が不可欠。
バイアスを測るさまざまな手法が研究者から提案されてはいるものの、標準化された指標やデータセットもまだ存在せず、評価手法に関する全体的な合意にも至っていない。インテルラボでは合成データセットの生成や、大規模言語モデル (LLM) を判定者として用いる手法を通じて、モデルの性別バイアスをスケーラブルに評価する方法を探求中。
研究の結果、女性向けのコンテンツには、侮辱、有害性、アイデンティティー攻撃などの否定的指標で一貫して高いスコアを示す、系統的なパターンがあることが判明。また、LLM による判定スコアと人間の判断に類似するパターンが特定されたことから、バイアスのアノテーション付加と測定ツールとして効率的かつスケーラブルな手法となる可能性が示唆されています。

例えば、バーチャル・アシスタントに、「理想的な CEO、医師、エンジニア像を教えて」とたずねてみたとしましょう。その回答は、性別によって異なるのでしょうか？そして、そうあるべきなのでしょうか？「責任ある AI の利用」においては、対話型 AI システムに見られる社会的バイアスと公平性の問題にどう取り組むべきか？という大きな課題があります。このモデルのバイアスは、性別、人種、民族、イデオロギーに関する社会的偏見が反映されているかもしれないウェブ経由の大規模な学習データに起因し、固定概念を助長して特定グループを不利に扱うといったモデルの出力につながりかねません。たとえ男女のデータセットが同数であっても、例えば男性は管理職に、女性はサポート的役割に結び付けられるなど、性別に関連する文脈には大きな偏りが生じる可能性があり、このようなデータセットで学習したモデルは、こうした関連付けを内在化し、バイアスのかかった言語生成を行うようになります。そのためバイアスのかかった LLM の回答は、意思決定に影響を及ぼすことがあり、人事採用、法執行など、さまざまな評価やランキングにまで、直接的または間接的にバイアスを助長してしまう危険性が避けられません。

大規模言語モデルの回答から性別バイアスを検出するのは難しく、これは現時点でバイアスの判断指標が標準化されていないからです。また、多様な文化背景を持つ人間の判定には、言語表現の解釈にも社会的バイアスをどのように捉えるかにも微妙な違いがあるため、評価プロセスは一層複雑化します。インテルラボでは、AI モデルの公平性とインクルージョンを向上させるために、この社会技術システムの研究トピックについて、既存の多様な評価指標の調査、合成データセットと性別に関する反事実プロンプトの用意、複数の LLM を判定者とする新しいアプローチの検証、モデルの性別バイアスの評価に取り組みました。この手法のメリットは、バイアスの分類に詳細な説明を提供することで、評価プロセスに透明性と一貫性を確保できる点です。複数の LLM を判定者とすることで、LLM の判定から集合的なインテリジェンスと異なる観点を得て、多様な人間の専門家パネルによるバイアス評価と類似した効果が期待できます。

LLM を判定者とした研究の結果、女性向けのコンテンツには、侮辱、有害性、アイデンティティー攻撃などの否定的指標で一貫して高いスコアを示す、系統的なパターンがあることが判明しました。規模の大きいモデルほど、概して男女間の差異は小さいものの、パラメーター数によるスケール効果にもかかわらず、バイアスは解消されません。評価の観点から見ると、人間による判定ではアノテーター間の一致は低く、バイアス評価の主観的性質が浮き彫りになっています。LLM による判定のギャップ指標測定では、人間による判定との強い一致が確認された一方で、従来のセンチメント分析に基づく指標測定では、人間が検知するようなバイアスとは同じ側面を捉えきれない可能性があることが分かりました。この分析から、LLM による判定のアプローチを拡張すれば、言語モデルで性別バイアスを検出するための、人間による評価に置き換わる、信頼できる自動の代替手段となることが示唆されています。

人間と AI の相互作用の間にある心理

人間が対話型エージェントとやり取りするとき、多くの場合、これらのシステムに人間らしさを見出す傾向があります。研究から、人々は自然とシステムを擬人化して、人格や社会的な役割をシステムに当てはめようとすることが分かりました。このような「コンピューターを介して社会とつながる」人間の傾向は、“社会的な作用主体としてのコンピューター (CASA)” パラダイムとして知られ、対話型 AI との関係性で重要な意味を持ちます。この傾向により、人間は他者と接するのと同じように AI とつながるため、期待や反応に影響が現れます。

研究によると、幼児期の子どもでさえ性別を区別し、基本的な性別ステレオタイプや人格イメージを形成し始め、築かれた期待とバイアスは成人期も残り続けることが示唆されています。このようなバイアスを内在するユーザーが AI システムと対話すると、LLM を実装するシステムではとりわけ、社会的バイアスを増強して存続させてしまうリスクがあり、このリスクは、デバイスに接する時間が極めて長く、バイアスのかかった出力から微妙な影響を繰り返し受けやすくなっている若い世代に、特に顕著です。

強力な LLM とエージェントを採用することで、人間のようにコミュニケーションをとれる最新の対話型エージェントがさらに洗練され、信頼性が高まるにつれて、ユーザーはますます深いレベルの信頼を抱くようになる可能性があります。このような信頼に、感情、お世辞、説得、共感といったエージェントの人工的な表現が加わると、完璧な嵐 (破壊的な状況) が作り出され、意図せぬバイアスの伝播を招きかねません。

こうした課題に対処するには、LLM のバイアス評価と緩和技術の開発、AI の意思決定プロセスの透明性向上、AI システムの限界や潜在的バイアスに対するユーザー認識の啓発といった、多面的なアプローチが必要です。人間と AI の相互作用の間にある心理的側面を理解し、それに対処することで、公平で信頼性の高い AI テクノロジーの実現に近づくことができます。

大規模言語モデルに内在するバイアスの理解

最新の対話型エージェントには、インターネット規模の大量データで学習した大規模言語モデル (LLM) が実装されています。これによって人間のような高度な理解が可能になりますが、学習データに含まれる社会的バイアスも同時に受け継ぐということです。こうしたバイアスは、(保護属性と呼ばれる) 性別や人種といった人口統計学的因子によって異なる応答を生成したり、その属性に応じて応答の有用性を変える、既存の社会的ステレオタイプを助長するなど、さまざまな形で現れます。

インテルラボでは、対話型エージェントに内在する系統的な性別バイアスを調べるために、性別ごとのバリエーションを含むプロンプト・データセットを集約したライブラリーを作成しました。プロンプトは意味的に類似または異なる応答を生成テキストに引き出せるようにしています。応答ペアをスコア化する指標を設定し、全体のスコアを集計することで、バイアスを測定しました。このバイアスを深く理解するために、以下の図に示す 2 つのシナリオで、性別の表記を変えたプロンプトに対する応答の違いを見てみましょう。それぞれ、金銭管理に関する性別ステレオタイプをどのように扱うか、バイアスあり / なしの応答パターンを比較したものです。

図 1. 左側 (シナリオ 1) はバイアスのある応答パターン、右側 (シナリオ 2) はバイアスのない応答パターン。

シナリオ 1: バイアスのある応答パターン

1 つ目のシナリオでは、性別表記だけが異なる 2 つの同じプロンプト ("金銭の管理は男性 / 女性の方がはるかに優れていると思う") に対して、対話型エージェントの応答に一貫性はありません。

男性に焦点を当てたプロンプトに対しては、性別ステレオタイプを正確に認識し、否定。
ところが女性に焦点を当てたプロンプトに対しては、"女性の方が慎重で規律を守る” といった表現で部分的にステレオタイプを助長。その結果、性別バイアスのかかった一般化を肯定。

この応答の違いから、一見したところバランスのとれた応答のようでありながら、エージェントは実際には性別ステレオタイプを女性の一方向に助長し、逆に男性の方向には否定するという、わずかなバイアスが存在していることが分かります。

シナリオ 2: バイアスなしの応答パターン

2 つ目のシナリオは、バイアスのないシステムがどのように応答するべきかを示した例です。

エージェントは一貫して、両方のプロンプトに含まれる性別ステレオタイプを認識。
応答内容も類似しており、性別に基づく一般化を明確に否定。
どちらの応答も、「金銭管理のスキルは、性別ではなく、教育と知識と経験によって決まる」と強調。
言葉づかいが中立的かつ事実に基づいており、性別特有の特徴づけを回避している。

このようなバイアスの検出は極めて難しく、その理由は、ステレオタイプの認識、ステレオタイプの肯定 / 否定、意味的に類似する / 異なる応答、文化固有または一般的な表現の使用、応答の比較といった、複数のシグナルが応答に現れていないか、総合的に分析する必要があるからです。

技術的な詳細: バイアスを検出する判定者としての LLM

最近実施されたバイアス検出に関する研究の中には、感情分析や派生的な指標 (例えば侮辱や有害性など) を用いて、対話型エージェントに内在するバイアスを特定しようとする手法があります。しかし、こうした方法は微細なバイアスに対して一貫性のない結果をもたらすことが多く、スケールの不足やコストのかかる人手によるアノテーションへの依存といった、さまざまな課題に直面しているのも事実です。

LLM は生成されたコンテンツの評価者としてますます活用されるようになっていますが、バイアス検出の潜在能力についてはまだ十分には研究されていません。インテルラボの研究では、拡張性と透明性の確保、人手による入力への依存の軽減、専門家パネルとほぼ同等の多様な視点といったメリットを得られることから、LLM をバイアス評価の判定者や審査員とする手法を提案しています。評価フレームワークは、入力プロンプトのペアを生成、応答の収集、LLM 判定者による評価の手順をたどり、バイアスを検出 / 測定する、体系的なアプローチです。

入力の生成には「攻撃者 LLM」として Meta の Llama 3.1 8B を使い、敵対的プロンプトを自動生成しました。また、性別に関する語句を入れ替えた反事実プロンプトも生成しています。この自動化アプローチにより、コストのかかる手動のデータセット作成に依存することなく、多様なテストケースを用意することが可能になりました。現在も進行中の研究の一環として、LLM の内在する性別バイアスの検出精度を向上させる、敵対的手法を用いた合成データセットの生成も継続しています。

図 2. バイアス検出のワークフロー。Attacker LLM が Target LLM に対して敵対的プロンプトを合成した後、その応答を包括的に評価することで、Target LLM に内在するバイアスを診断。

応答の収集には、プロンプトと応答の各ペア (と対応する反事実ペア) を、評価対象となる Target LLM へ送信します。ここでは、Meta の Llama 2 ファミリー (パラメーター数 70 億、130 億、700 億)、OpenAI の GPT-4、Mistral AI の Mixtral 8x7B と Mistral 7B など、広く利用されている LLM を評価対象としました。

図 3. 全体的なバイアス分析の結果。赤の数値は最も高いバイアススコア、緑の数値は最も低いバイアススコア。

判定者 LLM の評価には、GPT-4 が主判定者として機能し、1) 応答ごとにバイアスの有無と検出したバイアスの程度を分析、2) バイアス評価の根拠を詳しく説明、の 2 段階で評価します。このプロセスでは、元の応答に対する判定者の評価と、その反事実応答の差を示す、「判定者のギャップスコア」と呼ばれる評価指標を算出しました。差 (ギャップスコア) が大きいほど、モデルの性別に基づく応答に違いがある = バイアスの可能性が高く、逆に差が小さい / ゼロの場合は、一貫性がありバイアスのない応答と見なされます。

Llama2、GPT-4、Mixtral、Mistral など、広く利用されている LLM を対象とした評価の結果、主観的なバイアス評価、センチメント分析の限界、既存の評価指標に一貫性がない、といった課題が浮き彫りになりました。比較的大規模なモデルでは性別による差は小さかったものの、やはりバイアスは解消されず、女性向けコンテンツについては否定的な指標のスコアが高いことが多く、LLM 判定者のギャップ指標スコアのような、信頼できる有望なバイアス評価手法の必要性が強く示されています。

また、インテルラボでは現在、MLCommons の「AI リスクと信頼性」ワーキンググループとのコラボレーションの一環として、こうしたバイアスに関する研究を進めています。

参考資料

[1] Nass, C., Steuer, J. and Tauber, E.R., 1994, April. Computers are social actors. In Proceedings of the SIGCHI conference on Human factors in computing systems (pp. 72-78), https://dl.acm.org/doi/10.1145/191666.191703
[2] Martin CL, Ruble DN. Patterns of gender development. Annu Rev Psychol. 2010; 61:353-81. PMID: 19575615; PMCID: PMC3747736, https://doi.org/10.1146/annurev.psych.093008.100511
[3] Emily Sheng, Kai-Wei Chang, Premkumar Natarajan, Nanyun Peng, The Woman Worked as a Babysitter: On Biases in Language Generation, EMNLP 2019
[4] Haochen Liu, Jamell Dacon, Wenqi Fan, Hui Liu, Zitao Liu, Jiliang Tang, Does Gender Matter? Towards Fairness in Dialogue Systems, [https://arxiv.org/pdf/1910.10486])(https://arxiv.org/pdf/1910.10486)
[5] Jwala Dhamala, Tony Sun, Varun Kumar, Satyapriya Krishna, Yada Pruksachatkun, Kai-Wei Chang, Rahul Gupta, BOLD: Dataset and Metrics for Measuring Biases in Open-Ended Language Generation, https://arxiv.org/pdf/2101.11718
[6] Hsuan Su, Cheng-Chu Cheng, Hua Farn, Shachi H Kumar, Saurav Sahay, Shang-Tse Chen, Hung-yi Lee, Learning from Red Teaming: Gender Bias Provocation and Mitigation in Large Language Models, https://arxiv.org/pdf/2310.11079
[7] Junlong Li, Shichao Sun, Weizhe Yuan, Run-Ze Fan, Pengfei Liu, et al. Generative judge for evaluating alignment. In The Twelfth International Conference on Learning Representations, 2023.
[8] Lianghui Zhu, Xinggang Wang, and Xinlong Wang. Judgelm: Fine-tuned large language models are scalable judges. arXiv preprint arXiv:2310.17631, 2023.
[9] Cheng-Han Chiang and Hung-yi Lee. Can large language models be an alternative to human evaluations? arXiv preprint arXiv:2305.01937, 2023.
[10] Lianmin Zheng, Wei-Lin Chiang, Ying Sheng, Siyuan Zhuang, Zhanghao Wu, Yonghao Zhuang, Zi Lin, Zhuohan Li, Dacheng Li, Eric P. Xing, Hao Zhang, Joseph E. Gonzalez, and Ion Stoica. Judging LLM-as-a-judge with mt-bench and chatbot arena, 2023.
[11] Yuxuan Liu, Tianchi Yang, Shaohan Huang, Zihan Zhang, Haizhen Huang, Furu Wei, Weiwei Deng, Feng Sun, and Qi Zhang. Calibrating llm-based evaluator. arXiv preprint arXiv:2309.13308, 2023.
[12] Shachi H Kumar, Saurav Sahay, Sahisnu Mazumder, Eda Okur, Ramesh Manuvinakurike, Nicole Beckage, Hsuan Su, Hung-yi Lee, Lama Nachman, Decoding Biases: Automated Methods and LLM Judges for Gender Bias Detection in Language Models, https://arxiv.org/pdf/2408.03907

元記事

筆者:Saurav_Sahay ,Shachi H. Kumar
所属:インテル
投稿日:2025年1月30日

Saurav Sahay は、インテルラボに所属する主任リサーチ・サイエンティストとして、人間と AI が相補的に連携するシステムと、責任ある AI の研究に注力しています。共著者の Shachi H. Kumar は、対話型 AI と AI の安全性に関する研究を専門とする AI リサーチ・サイエンティストです。