AIは、数学（算数？）の文章題がどの程度解けるのか？

「AIは、数学（算数？）の文章題がどの程度解けるのか？」について、全く、知らなかったので、少し、ぐぐってみた。
math word problem ( MWP) について。
かなり、雑な調査です。

調査結果

以下の論文に問題の例示があった。
これは、Ape210K というデータセットのものらしい。

https://arxiv.org/abs/2009.11506
Ape210K: A Large-Scale and Template-Rich Dataset of Math Word Problems

問題
ニワトリとウサギが同じ檻の中にいて、全部で274フィート(足の数）あります。仮に、ウサギよりニワトリの方が23匹多いとすると、ケージの中には何匹のニワトリがいるでしょう

上記、答えは、61です。（是非、一度、ご自分で解いて下さい。小学3年生あたりのレベル？）

前提は、わかりませんが、以下のような正解率があった。
想像になりますが、上記のような問題が、解けたり、解けなかったりするよう。

感想

非常に雑な感想としては、まだ、文章題とかは、難しいんだな。。。という印象。
将棋が強かったりする一面との距離感がある。
また、翻訳とかが超レベルが高いときとの印象とも差がある。
上記の数学の文章題は、問題のための問題というノリがあり、これらを学習させるのその枠内では利口になるだろうけど、本質的には、それほど、意味はない感じはします。一歩、一歩の検討の材料にはなると思いますが。。。

まとめ

特にありません。
ちょっと、まだまだな一面を体感？しました。
AIに対して、バランスの良い印象を持つ必要があると感じました。