はじめに

業務に生成AIを取り入れることが増えている昨今、あることを私は考えました。
言語によって生成AIの精度って変わるんじゃないか? トークン使用量も変わってくるのではないか、と。
そこで、こちらについて調査してみることにしました。

なぜこんなことを考えたか

私は業務のほとんどをphpで開発をしてきました。最近は趣味でgo言語を学んでいます。goは他言語に比べ、構文が非常にシンプルです。しかし、phpの場合は書き方が多くあり、コードリーディングをするだけでも相当の労力を伴います。
人間がこれだけ苦しいんだから、AIも苦しいのでは？と考えたのが背景です。

こういうことをおそらく皆さんも考えることはあるだろうと思います。
そこで、最近見つけたgithubのリポジトリが参考になる気がしたので、こちらでご紹介いたします。

完全にこちらが正しいと言えない理由としては下記です。

測定対象が少ない
→ 4つのタスク（素数計算、REST API、JSONパーサ、単語頻度）のみ
モデル依存
→ パープレキシティはQwen2.5-Coder-3Bでの結果。別モデルなら異なる可能性あり
OpenAIのtiktokenに依存
→ 他のAIサービス（Claude、Gemini等）を使う場合、
トークン数が大きく異なる可能性あり
→ tiktokenのバージョンが更新されると結果も変わる
学術的ではない
→ 個人プロジェクトのため、完全な正確性は保証されません

ただし、言語による傾向を知るには十分な参考値になると考えます。

このリポジトリを読み進めるに当たって、最低限言葉を理解しておかないと難しいなと思ったので、私が読んでこういうことなんだろうと思ったのものをここに説明しておきます。

定義:
AIが「前後の文脈を踏まえて、次のトークン（コードの一部）を予測する難しさ」を数値化したもの。

計算の考え方：

この最終的に出された数値がパープレキシティです。

パープレキシティが高ければ、AI生成の精度が低く、修正が必要になります。その結果、消費するコストも増えます。

逆に低ければ、精度は高く、修正することが減ります。

念の為に。

定義:
テキストを分割した最小単位です。
1トークン = 4文字程度なんて言われたりもします。
例えば

Hello World ← 2トークン
This is a pen ← 4トークン
こんにちは ← 3 ~ 4トークン

みたいな感じです。
ちなみにこのトークンの数値は必ずこうなるってわけではないです。
トークンを計算するトークナイザーってものがありまして、それによって出力される答えは異なります。

このリポジトリではopenAIのトークナイザーを使用していますが、他のトークナイザーを使えば結果が変わるかもしれません。

これはリポジトリから引用したものです。
繰り返しになりますが。この比較が絶対的なものだとは言い切れません。
参考程度に。

順位	言語	トークン数	相対的コスト
1位	TypeScript	1,120	1.00x
2位	Python	1,121	1.00x
3位	Clojure	1,178	1.05x
4位	Haskell	1,396	1.25x
5位	Go	1,547	1.38x
6位	Rust	1,743	1.56x
7位	Zig	2,269	2.03x

TypeScriptが一番トークン数少ないというデータが出たみたいです。
次点でPythonですね。

最下位はzig。

順位	言語	合計ビット数	相対的難度
1位	Go	674.6	1.00x
2位	Python	710.6	1.05x
3位	TypeScript	764.6	1.13x
4位	Rust	793.4	1.18x
5位	Clojure	938.7	1.39x
6位	Haskell	1,130.6	1.68x
7位	Zig	1,284.6	1.90x

合計ビットはgo言語が一番少ないですね。
その後にPython TypeScriptと並ぶようです。
ここでも最下位はZig

go言語書いていて思いますが、別に記述量って他言語に比べて少ないわけではない。
しかし、シンプルで読みやすい。
そう考えるのはAIも同じなのかもしれません。

個人的にはこれのphpバージョンも欲しいな。

冒頭で「Go はシンプルだからAIも楽では？」と仮説を立てました。

結果：そうとも言えるが断定はできない。

冒頭らへんでも言いましたが、

これらによって結果は変わるかもしれません。
今回はこういう仮説を立てました。
なんか似たようなことを考えて調査してる人がいたよってお話です。

ただ、やはりシンプルな言語は精度に影響を与えてる可能性はあると考えています。

AIといっても人間を模した知能ですからね。
人間にとって読みやすく理解しやすいコードは、
AIにとっても予測しやすいということなのかもしれません。