0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

文脈に合わせて変換候補を選ぶ――Windows向け日本語入力「Yamatana AI IME」

0
Posted at

日本語入力で困るのは、漢字に変換できないことだけではありません。変換はできても、文章の意味に合わない候補が先頭に出て、選び直しや打ち直しが発生することがあります。

「Yamatana AI IME (MOZC Ver)」は、Mozcを土台に、ローカルAI rerankerで変換候補の順番を整えるWindows向け日本語IMEです。AIに文章を自由生成させるのではなく、Mozcが作った候補から文脈に合うものを選びやすくします。

同じ読みでも、文脈で漢字が変わる

日本語には、同じ読みでも前後の文章によって自然な漢字が変わる言葉があります。

彼の顔のはな             → 鼻
庭には美しいはな         → 花

役員が稟議書をけっさい   → 決裁
オンラインで代金をけっさい → 決済

明日の天気予報はあめだ   → 雨
弟に御土産としてあめを買う → 飴

「はな」は顔なら鼻、庭なら花。「けっさい」は稟議書なら決裁、代金なら決済です。「あめ」も天気の話では雨、お土産の話では飴になります。

Yamatana AI IMEは、こうした入力中の先行文脈を手がかりに、候補の中から自然な表記を先頭へ並べ替えます。

MozcとAIの役割を分ける

仕組みはシンプルな役割分担です。

Mozc       → 辞書などを使って変換候補を作る
ローカルAI → 入力中の文脈に合わせて候補を再順位付けする
安全機能   → 失敗時や自信が弱い場合はMozcの候補順へ戻す

AIだけでIMEを作るのではなく、既存のMozcの変換基盤を活かしながら、最後の「どの候補を先に出すか」をAIが補助します。AIが候補を増やして文章を作る方式ではないため、通常のIMEに近い操作感を目指せます。

入力内容を外部へ送らないローカル処理

キーボード入力には、仕事の文書や個人情報が含まれることがあります。Yamatana AI IMEでは、入力、前後の文脈、辞書、文書分野、カスタム指示、AI推論をWindows PC内で処理します。AI変換にインターネット接続は必要ありません。

アプリ本体は入力内容や文脈を外部へ送信せず、テレメトリ、解析SDK、広告SDK、クラッシュ自動送信も実装していません。設定と診断ログは端末内に保存されますが、診断ログに入力本文、文脈、候補本文は記録しない方針です。GitHub Releasesからインストーラーやモデルを取得する際のアクセスログは、GitHub側の通常の取り扱いになります。

70M級Ruri v3 student rerankerとONNX Runtime

ローカル処理を現実的な速度とサイズに収めるため、IME向けに軽量化したモデルを使います。

  • cl-nagoya/ruri-v3-70mをベースにした約70.1MパラメータのRuri v3 student reranker
  • 310M級teacherからの知識蒸留
  • Mozcが出した候補を1バッチでONNX Runtimeへ入力して採点
  • CPU用Dynamic INT8モデル(約67.8MB)とGPU用FP16モデル(約134MB)
  • CUDA、DirectML、CPUの構成に対応

CPUモードでは、Spaceキーなどの明示変換時にAI候補の並べ替えを最大2秒まで待ちます。AI推論が失敗した場合や時間内に終わらない場合は、Mozcの候補を使うフェイルセーフ設計です。

210例での検証結果

実際のMozc候補を使い、日常、仕事、IT、医療、製造、数字などの210例を検証しました。Mozcが出した上位5候補をAIが比較し、後ろに続く文章ではなく、入力済みの前の文脈を使っています。

測定項目 Mozcのみ AI併用
自然な表記を含めた正解 152/210(72.4%) 208/210(99.1%)
AIで誤って悪化した例 0例
2秒を超えた例 0例

「3時」と「三時」のような意味が同じ表記は正解に含めています。一方、「鼻」と「花」、「決裁」と「決済」のように意味が変わるものは別の答えとして扱います。

この数値は検証用に作成した210例での結果であり、実際の利用頻度を反映した大規模ログの統計でも、製品全体の精度保証でもありません。検証条件やスクリプトはリポジトリで公開しています。

文書分野の設定について

トレイの設定から、文脈の保持量、医学・医療、法律・行政、ビジネス、IT・ソフトウェアなどの文書分野、カスタム指示、CPU/GPU設定を変更できます。

文書分野やカスタム指示は、候補の表記を選ぶための補助情報です。医学的・法的な判断、専門家の判断、入力した文章の内容の正確性を保証するものではありません。

対応OSとインストール

  • Windows 10 22H2(64ビット)またはWindows 11(64ビット)
  • x64 CPU、メモリ8GB以上、空き容量3GB以上
  • 16GB以上のメモリを推奨。GPUモードでは対応GPUと4GB以上の専用または共有メモリが必要
  • インストールには管理者権限が必要

公開中のBetaビルドは未署名です。WindowsのSmartScreenや発行元に関する警告が表示される場合があります。署名済みであるかのような表示は行っていません。

試す場合は、GitHub Releases(https://github.com/YAMA-TANA/yamatana-ai-ime/releases)からMSIとSHA256SUMS.txtを取得し、ハッシュを照合してから、同梱のInstall-Yamatana-AI-IME.cmdを実行してください。

おわりに

Yamatana AI IMEは、Mozcの候補生成とローカルAIによる再順位付けを組み合わせ、入力内容を外部へ送らずに文脈に合う候補を選びやすくする試みです。まだBetaですが、同音異義語や数字表記など、普段の入力で迷いやすい部分を少しでも減らすことを目指しています。

ソースコード、検証データ、モデルの情報はGitHubで公開しています。

👉 https://github.com/YAMA-TANA/yamatana-ai-ime

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?