筆者は昨年秋から今年春にかけてイギリスに留学した際、もともと強い関心を持っていた研究活動について情報収集をしていました。
今回の記事では、その中で集めた論文・研究の例をまとめて紹介します。
大学内の施設に掲示されていたポスターで見かけた「大学内研究室編」、および大学主催のイベントで見かけた「AIイベント編」の二部でお送りします。
なお、以下に掲載している論文・研究のほとんどは筆者の専攻であるAI・機械学習に関連しています。
何卒ご了承ください。
大学内研究室編
筆者の留学していた大学ではInformatics Forumという建物に情報系の研究室の多くが設置されていました。以下の研究は、そのInformatics Forumに立ち寄った際メモしたものです。
BenchPress: A Deep Active Benchmark Generator
BenchPressとは、コンパイラ向けのベンチマークを機械学習を使って生成するもの。
既存の生成器であるCLgenやCLSmith fuzzer、および人間が生成したコードよりも多様なベンチマークを生成できます。
そのコンパイル成功率も、CLgenが2.33%であったのに対し、BenchPressでは驚異の86%を記録したとのこと。
Graph Condensation Benchmark
上に同じくベンチマークの研究ですが、こちらはグラフ圧縮（Graph Condensation）に関するもの。
CoraやCiteseerといったグラフデータを、12種類のアルゴリズムのうち適切なものを選んで圧縮できるオープンソースのライブラリです。
ちなみにAI分野で世界最大規模の国際学会であるNeurIPS 2024に提出されたそうです。
Retrieval-augmented Multilingual Knowledge Editing
LLMの持つ知識を単一の言語のみ（例：英語）で更新した場合、別の言語（例：日本語）でそのLLMに質問すると更新前の知識が返答されることがあるらしい。
それを解決するのがこのRetrieval-augmented Multilingual Knowledge Editing（ReMaKE）というフレームワーク。
クエリと知識ベースをベクトル化し、それぞれの類似性を測ることで、言語に関わらず情報を検索できます。
Multilingual Document-Level Translation Enables Zero-Shot Transfer From Sentences to Documents
自然言語処理界隈では何かと話題に上がることの多い多言語関連の問題。
この研究では、そんな多言語活用のトピックの一つである機械翻訳で用いられるモデル、DocNMTに関して考察しています。
現状、対訳された文書データが手に入る言語ペア（例：英語→ドイツ語）は限られているのですが、このアプローチを使えば個々の文レベルのデータしか使えない言語ペア（例: 英語→日本語）でも容易に翻訳できるそうです。
Disentangled Sequence-to-Sequence Learning
既存の自然言語処理モデルには、訓練時に見た構成要素（例：単語）を組み合わせて新しい単語を作る、構成一般化が難しいという問題点がありました。
例えば、「赤いリンゴ」と「青いバナナ」という例を学習したモデルが、「青いリンゴ」という新しい組み合わせをうまく理解できない、といった感じです。
この問題を解決するために、この研究ではSeq2Seqを拡張したモデルが提唱されています。
こちらも自然言語処理分野で世界最高峰の学会であるACLに掲載された論文です。
Session-Typed Effect Handlers
こちらは上記の論文とは打って変わって、計算効果（Computational effect）に関するもの。それも、POPL（Symposium on Principles of Programming Languages）の学生研究コンペティションで提出された論文です。
通信におけるセッションの概念をもとに、作用ハンドラのためのシステムを設計したとのこと。
（英語だとAlgebraic EffectsとEffect Handlerで同じEffectという単語を使って表現できるのに、日本語だと代数的効果と作用ハンドラになってややこしいな…）
AIイベント編
大学で一般公開されたイベント「AI for All」で紹介されていた研究です。
誰でも無料で参加できる上に、下記のプロジェクトを行った研究者のプロフィールを見たり、実際に話したりすることもできるイベントでした。
What's in a Name?
海外で使用されている言語の中には、アルファベット以外に特殊文字を使用しているものもあります。ちょうどこのポスターの製作者の方の名前にも、Aの上に記号が付いていますね。
一方、近年のオンラインサービスでも名前を入力する機会が多いのにも関わらず、特殊文字は入力できないケースがあります。
そして、特殊文字を使わずアルファベットで名前を入力すると、名前の持つ意味が変わってしまう可能性があります。場合によっては失礼な意味になることも…。
AIシステムにおいてこのような名前の変更が起こった場合の悪影響に関して、研究がなされているそうです。
Does AI Change the Way It Persuades People Depending on Culture?
AIが政治に関する文章を生成する時、年齢、性別、人種などの要素を組み込むと、人間が書いた文章と同じくらい説得力のある文章が書けるそうです。
しかしながら、近年ではこのことが悪質な目的に使用されており、2025年2月にはOpenAIによる特定のChatGPTアカウントの利用停止にまで繋がっているそう。
この研究では、世界中様々な国・地域の参加者を対象に、AIが各自の文化的指向に合わせて生成した文章に説得力を強く感じるかどうかを調査しています。
Investigating Gender Bias in Multilingual Large Language Models
多言語LLMにおけるジェンダーバイアスに関する研究です。
具体的には、複数種類あるジェンダーバイアスのそれぞれに対応するデータを用意し、LLMに学ばせます。その後、LLMによる出力でどのバイアスが強く表れたかを、合計29種類の言語で調査しています。
バイアスのあるデータで訓練したらその出力にもバイアスがかかるのは当たり前な気もしますが、だからこそ訓練データの中身を点検しておかなければならないんですよね…。
おわりに
今回の記事では、留学中に見かけた論文・研究の概要をご紹介しました。
日頃日本語でやり取りする中では触れにくい海外のAI研究に関して、少しでも知識を深める一助となれば幸いです。