GECアドベントカレンダー20日目の記事です。

はじめに

所属しているラボで画像を用いた語学学習の研究を2019年から始めています。既存のGEC課題では誤りを含む文を入力としてそれを訂正した文を出力する研究がほとんどだと思いますが, 我々のグループでは語学学習支援という点で画像を活用することで学習者がより豊富な語彙や英文の記述能力を高めることを目的としています。

個別の研究事例は, (川端+ NLP20)や(田中+ JSAI21)を当たっていただくことにして, この記事では研究のよもやま話を書こうと思っています。なお僕自身はGECについて詳しくないのでその点はご了承ください。

画像を使うことの意味

モチベーション

研究を始めたての頃 (後輩が研究を始めることを聞いた時), 率直な疑問として, その課題において「画像を使う意義はどれくらいあるのだろうか」という点がよぎりました。
従来のGECでは取り組みづらい語彙能力を高める上で有用な点は認めますが, 一方で画像の内容を間違えるかしらといった疑問がはじめたての頃にはあったのです。そこで, (田中+ JSAI21)では, 簡易な英語のテストを非英語話者に行い, 誤りのラベルを人手で割り当てて結果を分析してみました。その結果が以下です。

これをみると, 写真との関連性についての誤りは15%とそれなりにはあるものの, 71%が文法誤りと若干研究のモチベーションから見直す結果になったことを覚えています。この結果は実験参加者のほとんどが京大関係者(ラボの学生など)だったことが原因でした。京大生はかなり英語の能力が高いので, 間違えるとしたら文法的誤りなのです。
中高生に依頼して問題を解いてもらったところ, 写真との関連性が薄い回答や語彙誤りが多くなってきて, 研究のモチベーションが失われずほっとしたのを覚えてます。

画像を使った時の誤りのバリエーション

最初に載せた図を再掲します。MSCOCOの画像とキャプションを元に問題を作成していますが, こうしてみるとMSCOCOって説明しにくい画像多いですよね。(1)とかどこから見つけたんだその画像。

最近面白い傾向だなと感じたのは, (2)のdanboのようなケースです。画像の中の物体を表現しつつ解答文を作成してもらってますが, どうしても正しい単語が出てこない時、こういう有名なキャラクターやローマ字読みを書いたりするというのは結構起こってます。正しい語彙を教えるというモチベーションは達成できるんじゃないかなと研究を続けながらワクワクしています。

おわりに

この記事では画像を用いた語学学習支援としてラボで取り組んでいるテーマを元に発表させてもらいました。研究のモチベーションそのものに最初はかなり懐疑的だったのですが、進めていくうちに色々な誤り, おそらくGECではなかなか出てこないんじゃないかというもの, が出てきて面白いです。今後もわくわくしつつ進めて行けたらなぁと思っています。

参考文献

川端ら, 画像キャプションを用いた日本語学習支援の検討, NLP2020
田中ら, 写真描画問題における自動採点手法の検討, JSAI2021