【人工知能学会全国大会2023参加報告】大規模言語モデルのニューロン分析, AIにおけるトラスト, 不確実性を用いた人間によるAIモデルデバッグ手法の紹介

こんにちは。プロダクト開発本部の上原です。

6/6から6/9にかけて行われた、2023年度 人工知能学会全国大会(JSAI 2023)へ聴講に行きました。開催場所は熊本城ホール(熊本県熊本市)とオンラインでのハイブリッドでした。セッション間の移動が多い時にはオンラインで参加できたので、バタバタせずに済みました。聴講した中で、特に興味深かった発表について、以下に紹介していきます！

沖村 樹, 岩澤 有祐, 小島 武, 松尾 豊 - 事前学習済み言語モデル中の多段階推論に関与するニューロンに関する分析

ChatGPTのような大規模言語モデルでは、モデルへの命令文(プロンプト)を工夫することで、さらなる性能を引き出すことができることがわかっています。その例として、モデルに特定の役割を演じてもらうRole Prompting、いくつかの入出力例を含めるFew-Shot Promptingなどが存在します。

Chain-of-Thought Promptingの例。(Wei et al., 2022), Figure 1より引用

Chain-of-Thought Prompting, CoT(Wei et al., 2022)は、モデルが最終的な答えを出力する前に、推論の過程を出力するようにプロンプトを作る手法です。これにより、多段階推論の性能が大きく向上することがわかりました。特に、従来は困難だった数的な推論や、常識を問う問題に対して有効であることを示しました。

本研究では、モデルがCoTからどのような影響を受け、多段階推論能力を向上させるかを調査することを目的としています。そこで、モデルのニューラルネットワークを構成するニューロンのうち、多段階推論を含む文章において活性化されるものを分析しました。

結果として、多段階推論において活性化されるニューロン(多段階推論ニューロン)が、モデルの大小に関わらず存在することがわかりました。また、多段階推論ニューロンの活性化を抑制することにより、推論能力が低下することが明らかになりました。

特定のタスクにおける性能などではなく、直接ニューロンの活性を調べるという視点がとても面白かったです！一部ニューロンの抑制によって特定の能力を低下させることができるという事実は、LLMの制御に転用できる可能性を示唆しているように思われました。

中川 裕志 - AIにおけるトラスト

こちらはチュートリアルです。「トラストできるAI」を規定するための概念的・法的な取り組みと、それを脅かす問題の紹介が行われました。

前半から中盤にかけて、EU AI Regulation Acts(2021年提案, 2023年改正案提案)に至るまでの、EUにおける「トラストできるAI」の系譜を辿りました。具体的には、次の3つの取り組みを見ていきました。それぞれの重要な論点について、次に箇条書きでまとめます。

• Ethics Guidelines for Trustworthy AI (2018)
  • Trustworthy AI = 倫理性 + 人間中心 + 技術的トラスト
    • ここでいう「倫理性」はソフトウェア一般に対しても求められる基本権, 公益の最大化, 個人の権利と自由の保護なども含まれる
  • 人間中心的、つまり人間が常に上位の決定権者であるべき
• White Paper on Artificial Intelligence (2020)
  • ライフサイクルフェーズでエラーや不整合に対処できるようにすべき
    • いつまでをライフサイクルと定めるか、という課題
  • AIシステムの出力は、人間によるレビュー・検証が行われなければならない
  • 動作中のAIシステムの監視およびリアリタイムの介入で非アクティブ化する機能の要請
    • 設計段階で、AIシステムに運用上の制約を課すことになる
• EU AI Regulation Acts (2021, 2023改正案提案)
  • リスク段階の策定
    • 禁止すべきAI, ハイリスクなAIなど
  • 改正案では、生成型AIへの規則が盛り込まれた
    • 違法なコンテンツの生成禁止
    • 学習に使用した著作権データの要約を公開すること
      • 透明性に対する極めて強い要求。実際に、イタリアではChatGPTの利用が一時停止された

後半ではトラストを脅かす問題として、なりすましやAIエージェントオーナーの死亡といったトピックが取り上げられました。その対策として、認証技術(FIDO, OpenID, OAuth)や免責事項の策定について言及がありました。

以上の内容はどれも、AI技術を社会実装するエンジニアにとっては非常に重要です。エンジニア自身がこうした法規に対応していくと共に、法の専門家と連携していくことが必要になると思いました。素晴らしい発表でした！

太田 真人, ファイサル ハディプトラ - 文章分類モデルの不確実性に基づく人間によるデバッグ手法の提案

AI技術の浸透によって、データ分析者ではない業務担当者がAIモデルを利用する機会が増加しました。継続的にAIモデルを使用し続けるためには、一つにはモデルの性能改善を行う必要があります。しかし、必ずしも業務担当者が性能改善をできるとは限りません。

そこで、業務担当者がモデルの性能を改善するための手法の研究が行われています。Explanation-Based Human Debugging(EBHD)はその一つです。EBHDでは、予測の説明を含むモデルの出力に対して、業務担当者が不適切な箇所や類似するサンプルを選択し、モデルへフィードバックします。これにより、業務担当者が有する知識がモデルに提供され、性能の向上が期待できます。

EBHDのフレームワーク。(Lertvittayakumjorn and Toni, 2021), Figure 1より引用

著者らは、EBHDにおける次の2つの課題を指摘しています。

• 業務担当者への負担が大きい
  • モデルが誤った箇所を業務担当者が探す必要がある
  • 業務担当者が確認する文章の選択基準がランダムであり、効率が悪い
• フィードバック後のデータ拡張手法が削除やランダムな言い換えといったルールベースである
  • データの品質が下がる
  • 倫理的に問題のあるデータが生じてしまう可能性がある

これら2つの課題への対策として、著者らは次の提案をしています。

第一に、業務担当者への負担が大きいことによる課題に対しては、2つの不確実性を基準としたデータの選択手法を提案しています。定量化された2つの不確実性を利用して、拡張・修正を行うデータの選択や範囲を定め、負担を軽減します。1つ目の不確実性は、モデルの予測の不確実性です。これを基準に、データ拡張・修正をする文章を選択します。2つ目は、各特徴量の寄与度の不確実性です。これを基準に、文章中の修正・拡張範囲を限定します。

第二に、データ拡張手法がルールベースであることによる課題に対して、業務担当者の手作業によるデータ拡張・修正を提案しています。ルールベースではないので、高品質かつ倫理的に問題のないデータが生成することができます。また、データ拡張に際して、業務担当者の知識を導入することも可能です。

訓練データが少ないときには、ルールベースによる拡張手法より、提案手法の方が精度が高いことがわかりました。一方で、ルールベースの手法は、データ量が十分に多いときには提案手法よりも優れていました。

AIモデルにおける一連の開発・運用サイクルの中に人間が介在するHuman-in-the-loopには、ユーザへの負担という点で個人的に興味を持っていました。今後の展開が気になる研究でした！

おわりに

聴講を通じて、知識だけでなく、自分のモチベーションに繋がるような熱意を感じる機会が多かったです。得られたことは今後のプロダクト開発に活かしていこうと思います。JSAI 2023に関わった皆様、本当にありがとうございました！