コンピューターと人間の言語処理の違い

0. はじめに

この記事は自然言語処理の技術解説ではありません。

自然言語処理の技術を活用した自然言語の構造そのものの基礎研究の話題になります。あまりプログラマーの実務向けではありませんが、それでも興味がある方はぜひ読んでみてください。

0.1. 自己紹介

みなさんこんにちは。初めての記事投稿になります、ゆにです。

計算心理言語学という、計算論モデリングで人間の言語処理の仕組みを研究しようっていう分野を専攻してる修士の院生です。

0.2. 今回のテーマ

近年、AIの自然言語¹を理解・産出する能力はもはや人間と区別がつかないほど高精度なものとなっています。しかし、AIが人間の言語使用をその実質的なアルゴリズムごと正確に模倣しているかというと、微妙なところです。自然言語処理のアルゴリズムというのは基本的に、「こうやってみたらうまくできた」の経験則の積み重ねであり、工学的には全く問題がないんですけど、逆に言うと今後どれだけ自然言語処理の工学的応用がうまく行ったとしても、それだけでは「人間がどう言語を処理しているか」という、理学的な面の真理は永遠にわからないままです。

本記事では主に、人間の言語処理に関して、過去の代表的な論文から、最新の知見まで、一通りまとめた形で紹介しようと思います。

0.3. あなたがこの記事を読むべき理由

計算心理言語学は、言語学の基礎研究と自然言語処理のための計算機工学という2つの分野を結ぶ重要な架け橋です。

言語学の人間、特に生成文法のような文法知識・能力ベースの理論を専攻している方にとっては、言語の構成ルールをどのようが人間の脳に実装され、処理されているかというアルゴリズムの話はシンプルに興味深いと思いますし、そこまで考慮してより妥当な文法を考えるという方面に必要な知識になるかもしれません。

一方で計算機科学の人間にとっては、今現在「とりあえず動いている」状態の自然言語AIについて、理学的な基礎を与えることで、より性能がよかったり、より動作効率がよかったり、より人間らしく行動できたりするAIの設計に役立てるための知識を身につけられるかもしれません。

そんな、文系・理系という面でも、理学的・工学的という面でも大きく違うように見える2つの分野を結びつけて、より人間の言語に対する解像度の高い分析を行うための分野として計算心理言語学は存在するし、そのような分野横断的に様々な知見を提供できるという点でこの分野の価値は高いと思います。

1. 歴史的背景

1.1. Broca領域とWernicke領域

黎明期の言語処理に関する議論は、主に失語症、つまり言語をうまく話せない人に対する臨床研究から始まりました。Broca (1861)²は、発話に困難さを示す患者の右前頭葉に異常があることを示し、Wernicke (1874)³は発話は流暢だが言語の意味理解に困難を示す類の失語症を脳の左後方側頭領域と結びつけた。

このように、脳の特定の部位と言語処理の特定の段階を結びつける研究は当時では画期的でしたが、現在では、もう少し領域横断的に脳、主に左脳の様々な部分が関連し合って言語は処理されていると言われています。

1.2. 統計的・パターンマッチング的言語観

1900年代前半の言語学では現代の統語論（Syntactic Theory）のような、文構造を語同士の関係性や文の階層構造で分析する考え方はそれほど盛んでなく、言語学習はパターンマッチングである、つまり、統計的傾向をとることによって「自然言語らしい文」が生成できる、という考え方の方が一般的でした。

1.3. チョムスキーの文法理論

一方で1950年代から出現したチョムスキー的な文法理論では一転して、文法を単なる表面的なパターンマッチングから導かれる規則ではなく、言語を操る人間が内的に持っている能力であるとしました。

Noam Chomskyというのは、2026年6月現在も存命の学者ですが、言語の構造を形式的に説明する試みを行い、ある程度まとまった体系としてまとめた最初期の人間です。

彼の理論をかなりざっくりまとめると、人間はある言語の文構造に関する規則（句構造規則）を、文の意味解釈とは独立したフェーズとして持っているということです。こっち方面で比較的有名な例文としてChomsky (1956) ⁴に出てくる

colorless green ideas sleep furiously

「色がない緑色のアイデアが猛烈に眠っている」

というのがありますが、これは、言語習得がそれまでに見聞きした文のパターンマッチングを通じて行われるという考えを否定するための例文です。このような意味が全く通らない文についても、英語を知っている人ならそれが「文法的に正しい」ということを簡単に判断できます。

また、これ以外にも自然言語には長距離依存（主語と述語動詞がすごい離れてる、みたいな）や多重ネスト構造など、マルコフ連鎖的な直前の一定数の単語から次の単語を予測する処理の仕組みではうまく説明できない現象が多く見られます。

以上の根拠をもって、彼は独立した「文法」という能力を人間が生得的に持っているとして、この文法がどのような姿をしているのかを解明しようとしました。彼の初期の議論では、文法的な文を生成する句構造規則が仮定され、それで作成される中核的な文（kernel）と、それにさらに変形規則（transformation）を適用されて作られる文がある、とされています。彼の文法理論は、単語を線形に並べたりパターンマッチングをしたりするものではなく、文の中に立体的な階層構造（句構造）を想定するものでした⁵。

数学や情報系の人から見たら、この辺は論理学や証明論と相性がいい分野なので、興味をそそられる人も多いかもしれません。情報論理でも「チョムスキー階層」など時々名前が出てくる人物だしね。

1.4. チョムスキー的言語観の限界

しかし、チョムスキー的な言語観では、人間がどのように文からその構造を分析するかという部分が（健闘は見られるものの）あまりうまく解明できていないという問題があります。そもそも人間は文を前から後ろに基本一度しか読まないわけで、再帰的に文章を返し読みするアルゴリズムを想定しないとうまく実装できないチョムスキー的な句構造規則ではこの点をうまく説明できません。

このグラフは、言語がどう産出されたり理解されたりするかを概念的に説明したものです。この中でチョムスキー的な言語理論が研究している対象は Grammar つまり「文法」ですが、人間の言語処理には文法だけでなく、その文法がどのように脳内で実装され動いているかという Algorithm の部分も大きく関わっています。

このアルゴリズムそのものについての研究は、1980年代ごろから徐々に進んでいきました。その中で、マルコフ連鎖的な事前情報から次の単語を予測する形での文処理のモデル化が再び脚光を浴びるようになります。

1.5. 人間のオンライン処理の仕組みとその研究への神経科学の貢献

そのアルゴリズムの特徴として最も大きなものは、逐次的（incremental）である、つまり基本的に前から後ろに一方向に処理されるし、文の最後を待たなくてもすでにある部分で意味解釈なども構築できるということです。例えば、人間は一部の単語が空白になった文章を読んでも間を補ったり補えないなら保留して読むことができますし、自分が何か言葉を発する際にも、文を最後まで作り終わる前に口から言葉を出すことができます。

人間のオンラインな言語処理、つまり人間が文を理解しているまさにその場面の詳細な研究は、Kutas & Hillyard (1980)⁶によるERP⁷研究をきっかけに徐々に増えていきました。

Kutas & Hillyard (1980)は、人間が文章を理解する仮定で、意味的におかしな単語を発見した時（例えば「靴を」に続く「食べる」や、「ご飯を」に続く「着る」みたいな）に出現するERP成分N400の存在を報告し、人間が次に来る単語を積極的に予測しながら、その単語の意味までその場で処理していると主張しました。その後、別の研究では意味とある程度独立した文構造（Syntax）の処理に関わるERP成分も報告されています。

これらの神経研究や、自己ペース読解（英：self-paced reading）のような心理的手法で示されたのは主に、人間の言語処理が、まず文構造を分析し、分析された構造に基づいて意味を計算する、といった形ではなく、文構造と意味をほぼ同時に計算しているということと、その処理が、文が完成するのを待たずに前から後ろに順番に聞く・読む流れの中で逐次的に行われる、ということです。文構造と意味が完全に融合しているということではないのですが、従来考えられていた独立のユニットとしての文構造部門・意味部門ではなく、より互いが密接に関わり合ったネットワークのようになって言語処理が行われている、ということが分かってきました。

以降、理論研究の方面でも、言語処理が逐次的で部門横断的だということを前提とした議論が盛んに展開されるようになります。

今回の記事では、比較的新しく、今の時点で強く否定されていないような、人間の逐次的な処理のメカニズムに関する理論についてさらっとまとめようと思います。

2. 人間の言語理解の主流なモデル化

2.1. モデル化の目標

まず、計算心理言語学ではよく、人間が言語を処理する仕組みを「モデル化」するということが行われます。これは一言で言うと、言語処理のプロセスを数式や図で表現するということです。

数式で表せると何が嬉しいかというと、議論の内容をコンピューターを用いて検証することがとてもやりやすくなります。これは言語学の他の基礎分野にはあまりない嬉しさです。コンピューターを用いて検証し、実験結果と照らし合わせることで、実験だけでは見づらい⁸言語処理の内部的なプロセスを、あくまでモデル化であり予測でしかないのですが、可視化して議論することができます。

2.3. ChomskyのMinimalist Program

厳密に言えば計算心理言語学ではないのですが、チョムスキー的な議論でこの言語の逐次性がどのように扱われたを紹介しようと思います。

Minimalist Program（最小主義プログラム）とは、チョムスキーが1990年代以降議論した理論体系の「計画」です⁹。Minimalistというのは最低限の規則で言語の文法を記述しようというもので、彼の著書の中では実質的に、それまでの文に次の単語をくっつける動作のみが想定され、それはmerge（融合）と呼ばれました。

情報理論でも応用されているチョムスキーの初期理論とは異なり、Minimalist Programは（Minimalistなんて言っておきながら）mergeという「なんでもあり」の理屈で全てを説明しようとするもので、形式的に言語構造を記述するというよりは、心理的な言語処理のメカニズムを説明する枠組みとして作られようとしたように思います（もしこれが形式言語理論の枠組みだとしたら、あまりにナンセンスだと思う）。

Minimalist Programはチョムスキー理論派の人たちの間でも議論が別れる存在らしく、そっち方面が専門ではない私はあまりいろいろ説明するとボロが出るかもしれません。気になる方は自分で調べてみてください。

2.2. Gibsonの依存関係モデル（DLT）

Gibson (1998)の議論は、人間の言語処理を線的（linear）で逐次的なモデルを用いて定式化した比較的初期の人物だと思われます。彼の議論は文章の意味解釈によらず、純粋に構文処理に基づいていましたが、画期的な点はそれまでの言語理論研究がチョムスキー的な文の句構造そのものの分析でありその処理のメカニズムでなかったのに対し、文構造ごとの「処理の難しさ」を定式化したことと、それを階層構造を持った構文木に対してではなく、生の文章に対して一直線に適用できる形でやったことです。

現代に至るまでDependency Locality Theory (DLT)の呼称でよく知られています。

彼は言語処理において脳が負担するコストを、「保持コスト」（memory cost）と「統合コスト」（integration cost）に分けました。

保持とは、つれあいが必要な単語（例えば動詞"bought"）が出現した時に、それに文法的に対応する単語（例えば目的語名詞"cake"）が後続の文章で出現するまで短期記憶の中に「ペアが出現するだろう」という情報を持っておくことであり、ペアとなる二つの単語の距離¹⁰が長ければ長いほど記憶を保持しておくための脳の処理負荷は高くなります。

Memory cost at:

"The reporter who" = M(0) #関係代名詞whoの出現により、thatと結びつく何かしらの動詞の出現が予測される

"The reporter who the senator" = M(2) #名詞"the senator"はまだ動詞じゃないので、保持は続く

"The reporter who the senator admitted"= 0 + M(0) #whoに当たる動詞"admitted"が出現して記憶コストが0に。一方で"admitted"に対しては"that"節の出現が予測されるので再び保持コストが発生

一方で、「統合」とは、単語が出現した後でその単語が文中のどの他の単語と関係するか処理することです。元の論文では、

The bartender told the detective that the suspect left the country yesterday

という例文が出されており、文の最後のyesterdayのような文中のどこにでも出現できる、文法的に必須でない単語が出てきた時に、その単語がどの単語を関係するかを処理するのに脳は処理コストを必要とするとしています。そしてそのコストは、関係のある単語同士の距離が長いほど高くなるとされています。

上の文では、yesterdayが修飾する動詞は文法的にleftとtoldの2種類がありえます。つまりこの文は線型順序から文構造が一意に定まらないのですが、現実に人間が処理をする時にはローカルな範囲で完結する文構造を優先する傾向があり、この文の場合はyesterdayとleftが文法的に結びついてると分析されることが多くなります¹¹。

このように、チョムスキー的な形式文法理論では説明の付きづらかった、現実に人間が作る文の傾向、現実の多義文の解釈に現れる傾向、あるいはもっとシンプルな言い方をするなら「複雑な文の処理が難しい理由」を説明できている部分が、DLTの特筆すべき点だと思われます。

ただし、Gibson自身の論文は、これら全ての要素を全て統合した定式化をしているわけではなく、彼自身、これらのコストの具体的な計算式に複数の可能性があることなども議論しています。また、この理論だけでは説明できない言語現象の存在にも言及しています。それらを全て説明すると長くなるので今回はカットします。興味のある方は論文を読んでみてください。

2.3. Gibsonの問題点とLevyの確率予測ベース理論

DLTにはしかし、いくつかの問題点と限界がありました。その一つに、この議論の中では文の構造（統語 / Syntax）の処理を単語の意味に関係ない文法的な役割によって分析していましたが、現実には、実験などで、人間が言語を処理する際に文構造と同時に文の意味も逐次的に処理しており、文に出てくる単語の意味の関連性の強さが脳にかかる処理負荷に関係することもわかっていました（先に挙げたN400の研究などがいい例）。

「靴を」に続く文は普通に予測したら「履く」のはずで、例えばこれが「食べる」なら意味解釈がスムースに行えないので処理負荷が高くなる、みたいな感じですね。

つまり、構文と意味の両方の処理を同時に行なっていることを考慮したモデリングが必要、ということです。

ここで、チョムスキーの論文で批判されていた、マルコフ連鎖的な自然言語観が活きてきます。そもそも言語の基礎研究ではなく自然言語処理、つまりコンピューターに言語を使わせるという工学的応用の分野では早くから、統計的に言語データを学習させてパターンマッチングさせる仕組みが研究され発展していましたが¹²、2000年代になってようやく、人間の言語処理も機械とある程度同じなのでないかという理論が登場します。

Levy (2008)はまさにそのような研究の代表例です。

Surprisal := - \ logP(w_i|w_{0:i-1})

彼は、自然言語処理において言語モデルが計算する単語の事後確率、つまり $P(w_i|w_{0:i-1})$¹³を直接人間が行う言語処理の負荷計算に使う式として導入しました。具体的には、単語$w_i$の出現確率の対数を取って負の値にすることで、その単語が持つ情報量を計算し、情報量が多い単語ほど処理に負荷がかかる、と主張しています。その処理負荷は、surprisal、つまりその単語の「驚き度」と呼ばれます。

Surprisalに基づいた研究はその後、一般理論だけでなく、個別言語の分析などにもよく用いられるようになりました。私の学部の卒論もsurprisalを使っています。

2.4. Surprisalの問題点

Surprisalはしかし、先ほどのDLTとは逆に、統語的に複雑な文の処理の難しさを正しく測定できないことが知られています。文を同じ長さにして統語的な複雑さ（引用や関係節の埋め込みの深さ）を変えてもsurprisalの値は変わらないのです。

それは、やはり、surprisalの計算が統計的なパターンマッチングだからである、と言えるかもしれません。人間は実際には「文法」に基づいて、文の「構造」を厳密にチェックする脳の仕組みがあり、そのような言語の意味と関係のない統語処理的なユニットはまた別に存在しているのかもしれません。これについては正直まだよく分かっていないと思いますが。

そのため、DLTとSurprisalは、文処理に関わる2つの異なる分析軸として用いられることが多いです。

3. 結論：コンピューターがしている言語処理は人間とどう違うのか

最後に、自然言語処理と計算心理言語学の関連性について少し話をして締めようと思います。

自然言語の「文法」というものを説明する際、私たちは、単語や文の構造がどのように形作られるかという「統語」（syntax）の規則と、特定の文構造がどのような意味解釈をもたらすかという「意味」（semantics）の分析に基づいて描写することが多いでしょう。しかし、現実の人間はこれらの文法の部門を、それぞれ別々にではなく、文章を前から後ろに読む・聞く・喋る過程で、全部同時に行なっています。では、人間は言語を単語の並び順のパターンマッチングとそれっぽい意味のあてはめという表面的な操作以上の文処理を本当に実行しているのでしょうか？

自然言語処理という言語学の工学的応用の分野を見てみると、Transformerのような、言語の文構造というものを特に分析しないような枠組みを通じて、コンピューターがかなり人間らしい言語使用をできるようになっていると感じます。このコンピューターは、統語を想定した仕組みでは動いていませんが、結果として統語的に完璧な文章を出力できます。

ただ、統語を想定しないアルゴリズムが工学的にうまくいったからといって、理学的に、つまり人間の実際の言語使用が本当に統語部門を想定せず組み立てられていると、断定することはできません。その部分の、応用と基礎の溝を埋めること、あるいは数理的な理論と心理学的・行動科学的な実験の溝を埋めること、そこに計算言語学の意義はあります。

以上、最後まで読んでいただきありがとうございました。

1. （英：natural language）「日本語」や「英語」のように、人間が日常のコミュニケーションや文学活動に使用している、世の中に自然に存在する言語。「Python」や「C」のような人間が特定の目的のために設計したプログラミング言語や、「エスペラント」のような日常使用目的ではあるものの人間がデザインした言語などは、まとめて「人工言語」（artificial language）と呼ばれ区別される。 ↩

2. Broca, P. (1861). Remarques sur le siège de la faculté du langage articulé. Bulletin de la Société Anatomique de Paris. ↩

3. Wernicke, C. (1874). Der aphasische Symptomencomplex: Eine psychologische Studie auf anatomischer Basis. ↩

4. Chomsky, N. (1956). Three Models for the Description of Language
   ちなみに形式言語理論で出てくる「チョムスキー階層」の初出はここです。 ↩

5. 現在、プログラミング言語の設計等で想定される文構造はチョムスキー的な句構造規則によって設計されています。必ずその句構造規則を満たすとわかっている言語に適用する分にはチョムスキーの理論は非常に便利なのです。一方で自然言語の分析はそれほど単純ではなく、チョムスキーの理論ではうまくいかない部分が多いです。 ↩

6. Kutas, M., & Hillyard, S. A. (1980). Reading senseless sentences: Brain potentials reflect semantic incongruity. Science. https://doi.org/10.1126/science.7350657 ↩

7. Event-Related Potential。特定の刺激に対する不随意的な反応として刺激から一定時間後に脳波が刺激のない状態と比べて変動するので、刺激を基準としてその変動が起こるまでの時間と、その電位の方向（正か負か）を記録する。時間分解能はいいが、脳全体の脳波をとって平均するので反応が起こっている部位はわからない。 ↩

8. 実験といっても脳の中で言語の素が動いている様子を直接見られるわけではないので。 ↩

9. 「計画」というのは、これが完全な理論ではなく、今後文法研究をする一つの目標として「こういう風に説明したいね」って言ったんだよ、っていうことです。 ↩

10. この「距離」が構文木上での距離（経由するノード数）ではなく平文中での線的な距離であることは注意が必要です。 ↩

11. "the suspect left the country yesterday"とローカルに完結する文に区切って処理できるため。yesterdayがtoldを修飾していると、文章全体を俯瞰しないと処理できないため逐次的な処理が難しくなる。 ↩

12. QiitaはIT系の人が多いのでこの辺の説明はそれほどいらないと信じてます。 ↩

13. $w_i$、つまりある文の$i$番目の単語の、$w_{0:i-1}$、つまりその文章の最初から$w_i$の直前の単語までという「文脈」（context）が与えられた条件下での出現確率。 ↩