More than 1 year has passed since last update.

Llama2とかrinnaなどを使ってIMEを作って見る試行

Posted at 2023-07-30

出来はしたけど色々な理由で微妙です。

目的

今流行りのLLMでIMEとかできないか興味あった。

基本的に漢字変換されない
- Text Generationモデルでやるのは合わないのかもしれない？Text2Textあたりでなんかいいのないかな。
- もしかしたら漢字変換用に調整したモデルならうまくいくかもしれない。今回は手元になかったので試してない。
重い・遅い
- 一般的なIMEなど、一瞬で数十個の候補が出るものと比べると、明らかに遅い。
- GPU使用すれば高速化は期待できるが、どちらにせよユーザーが選べるような複数候補を一瞬で出すというのは叶わない気がした。

ということを考えると、別にわざわざLLMをIMEへ実装しなくてもいいと思った。
もしかしたらやり方次第で使えるIMEになるのかもしれないが、ちょっと実現方法が思いつかなかった。

rinnaとLlama2を使い、mac上でIMEを実装。

バックエンドはllama.cppを使用しました。rinnaはGPTNeoXなので、redpajama.cppです。

IMEのコードですが、xcodeで作成したコードをそのまま公開していいか（個人情報的に）よくわかってないので、今の所ｕｐしてません。
もし必要でしたらコメントで教えてください。ただ、若干フリーズしたりして、実用的ではないです。