0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

CodexでiPhoneむけローカルAI日英翻訳アプリを1時間で試作した

0
Last updated at Posted at 2026-11-15

CodexとPLaMo 3 TranslateでiPhone向け日英翻訳アプリを試作した

Codexに指示を出しながら、iPhone 16で動く日英翻訳アプリを試作しました。翻訳モデルにはPLaMo 3 Translate 0.8BのGGUF版、推論にはllama.cppを使っています。文章翻訳と音声認識からの翻訳を、実機で日英両方向に各1例ずつ確認しました。

この記事は、2026年11月15日に行った作業の記録です。掲載するのはCodexに実際に送った主なプロンプトと、その結果です。アプリのコードは掲載していません。

作りたかったもの

初期準備の後は通信を必要とせず、iPhone上で日本語と英語を翻訳できるアプリを目指しました。入力した文章の翻訳に加えて、録音した音声を文字に起こし、認識結果を確認・修正してから翻訳する構成です。

事前に用意した引き継ぎ文書には、次の方針を書きました。

  • 画面はSwiftUIで作る。
  • 翻訳モデルは公式のPLaMo 3 Translate 0.8B GGUF版を使う。
  • 推論にはllama.cppとMetalを使う。
  • 音声認識はApple Speechの端末内認識を必須にする。
  • 読み上げにはAVSpeechSynthesizerを使う。
  • モデルの版やライセンス、テンプレートを確認し、実機での動作と性能を検証する。

当初の目標は文章翻訳だけでなく、交互に発話する会話モードや、機内モードでの一連の検証まで含んでいました。今回できたのは、その一部を実機で試せる段階までです。

まず引き継ぎ文書を読ませる

作業の最初に、要件と検証計画をまとめた HANDOFF.md を用意し、Codexに次のように指示しました。

HANDOFF.mdを読み込んでください

続けて、実装を依頼しました。

実装をお願いします

Codexは作業ディレクトリに既存のアプリやGitリポジトリがないことを確認し、SwiftUIプロジェクトを作成しました。この段階では翻訳エンジンを未接続とし、画面と音声認識の土台を先に作っています。

Codexによる署名なしのiOS向けビルドは成功しました。一方、シミュレータサービスはこの環境で起動できず、シミュレータでのテストは行えていません。

モデルとllama.cppを用意する

翻訳モデルの取得は、Codexに依頼しました。

翻訳エンジンをダウンロードしてください

しかし、Codexの作業環境からHugging Faceへ接続できず、ダウンロードは失敗しました。そこで、別のターミナルから実行できるスクリプトを作ってもらいました。

スクリプトを作ってもらえれば、別ターミナルでダウンロードします

取得したのは、PFN公式のPLaMo 3 Translate 0.8B GGUFのQ4_K_M版です。ファイルのサイズは573,126,848バイトでした。CodexはローカルファイルのSHA-256を記録し、アプリへの取り込み時にその値と照合する処理を追加しました。ただし、モデルのリポジトリrevisionと、公式APIの期待ハッシュとの独立した照合は記録できていません。

次に、推論ライブラリを依頼しました。

llama.cppをダウンロード&ビルドお願いします。

こちらもCodexの環境からGitHubに接続できなかったため、スクリプトを作成してもらい、別ターミナルで実行しました。llama.cppはb12249のコミット 6122b566b0a93aac37d1c25f107333c39dd96b8a に固定し、iOS実機とシミュレータ向けのXCFrameworkをビルドしました。

macOSでモデルを試してからアプリに接続する

モデルとライブラリの準備後、Codexに検証を依頼しました。

検証を進めてください

CodexはmacOS向けのllama.cppツールをビルドし、CPUでモデルを読み込んで日英両方向の短文を生成しました。たとえば、日本語の「会議は来週の月曜日に変更されました。」に対して、英語の “The meeting has been rescheduled for next Monday.” が出力されました。

この検証では、組み込みJinjaテンプレートをCLIから使う試行が例外終了しました。原因は未特定です。そのため、単一対訳向けのPFML3形式を直接指定して短文を試しています。公式テンプレートとの網羅的な比較は残っています。モデルのロード時にはEOS/EOGに関する警告も出ました。

macOS環境ではMetalのコマンドキューを作成できず、参照推論はCPUで行いました。この結果からiPhoneのMetal動作や性能を判断することはできません。

続いて、アプリへの接続を依頼しました。

アプリに接続お願いします

CodexはXCFrameworkをリンクし、Filesからモデルを取り込む画面と推論処理を追加しました。取り込んだモデルはアプリのApplication Supportに保存し、バックアップから除外する構成です。文章が長く、入力と出力のための領域がコンテキストに収まらない場合は、短く分けるようエラーを表示します。

iPhone 16にインストールする

実機へのインストールもCodexに依頼しました。

iPhone16へのインストールをお願いします

最初は端末管理サービスへの接続と署名の確認ができませんでした。Xcodeを起動し、開発用チームを設定した後、Codexに再試行してもらいました。

xcodeを起動しました

Xcodeからの実行は、iPhoneのデベロッパモードが無効だったため一度停止しました。有効化して再起動した後は、開発用証明書をiPhone側で信頼する必要がありました。どちらもiPhoneで操作し、その後Codexから再実行すると、Xcode上でアプリの実行を確認できました。

モデルファイルはiPhoneの「ファイル」に転送し、アプリの「モデルを取り込む」から選択しました。

デベロッパモードをオフにする場合

デベロッパモードは、iPhoneの「設定」→「プライバシーとセキュリティ」→「デベロッパモード」でオフにし、端末を再起動します。オフにすると、今回のようにXcodeから開発用署名でインストールしたアプリは起動できなくなります。再び使うには、デベロッパモードをオンにする必要があります。

通常のApp StoreアプリやTestFlightアプリには、デベロッパモードは必要ありません。詳しくはAppleのデベロッパモードに関する説明を参照してください。

実機で文章と音声を試す

文章翻訳では、次の結果が得られました。

方向 入力 結果
日→英 会議は来週の月曜日に変更されました。 The meeting has been rescheduled for next Monday.
英→日 The meeting has been rescheduled for next Monday. 会議は来週の月曜日に延期されました。

英語の “rescheduled” 自体は、日程が後ろにずれたことを必ずしも意味しません。「延期」には原文にない方向性が加わる可能性があります。各方向1例の結果なので、翻訳品質の評価には使えません。

次に、音声認識を試しました。

音声聞き取りを確認したいです。Macで日本語音声を出力してください。いまiPhoneはつながっている状態です

Codexの環境からMacで音声を出そうとしましたが、権限制限のエラーが出ました。そこで別ターミナルから音声を再生し、iPhoneで聞き取りました。

最初の試行では、原文にあった「明日の」を認識できず、翻訳結果にも “tomorrow” が含まれませんでした。音声認識の誤りがそのまま翻訳に反映されるため、認識文を確認して修正する工程が必要です。

また、原文欄に文章が残っていると録音がすぐ停止する症状がありました。

文章が残っているとすぐに停止します

Codexは、同じ行に配置した録音・翻訳・中止のボタンが同時に反応する可能性を調べ、それぞれ独立して反応するよう修正しました。修正版をiPhoneに入れて再試行したところ、録音が続き、次の訳文を得られました。

Let's meet at 3 p.m. tomorrow at Tokyo Station.

英→日の音声翻訳も試し、「会議は来週の月曜日に再設定されました。」という結果を得ました。動作はしましたが、会議の日程については「変更されました」や「組み直されました」のほうが自然です。音声認識と翻訳の両方について、さらに多くの文で確認する必要があります。

Safariのページ翻訳は未完成

文章や音声の翻訳に続いて、Safariで表示しているページの翻訳を相談しました。

これをSafariでweb翻訳できるようにできますか

Safari上で入力する翻訳アプリではなく、開いているWebページを翻訳したいと伝え、実装を依頼しました。CodexはSafari拡張の生成ツールを試しましたが、作業環境のアクセス制限で失敗しました。そこで別ターミナル用のスクリプトを作ってもらい、拡張プロジェクトのひな形を生成しました。

その後、表示中のページ本文を取得して先頭を確認する部分を追加し、署名なしのiOSビルドは成功しています。ただし、既存アプリに導入したモデルとSafari拡張は別の領域にあり、モデル共有と翻訳処理の接続はできていません。約573 MBのモデルを拡張プロセスのメモリ制約内で実行できるかも未検証です。Safariのページ翻訳機能は完成していません。

現時点では、Safariの文章をコピーし、翻訳アプリへ貼り付ける方法で使えます。

残っている確認

今回、iPhone 16へのインストールと、文章・音声からの日英翻訳を少数の例で試せました。一方で、次の項目は残っています。

  • 機内モードを明示的に確認したうえでの、両方向の文章翻訳・音声認識・読み上げ・連続会話。
  • 通信経路の計測と、実機でMetalが使われていることの確認。
  • 公式テンプレートとの比較、Jinjaテンプレートの例外、EOS/EOG警告の調査。
  • 長文、キャンセル、割り込み、認識失敗からの復帰。
  • 複数の評価文による翻訳品質、速度、メモリ、発熱、継続利用の測定。
  • モデルと依存物のライセンス、同梱・再配布・商用利用の条件確認。

PLaMo Community Licenseの全文や配布条件は今回確認しきれていません。公開・商用配布の可否は判断していません。

HANDOFF.mdの内容

# HANDOFF: iPhone 16向けオフライン日英翻訳アプリ

作成日: 2026-11-15  
対象: この文書を受け取って実装するCodex/開発者  
状態: 実装前の設計・検証計画。iPhone 16上の動作、品質、性能、ライセンス上の配布可否は未検証。

## 1. 目的と範囲

iPhone 16で、初期準備後は通信を必要とせず、日本語⇔英語の文章翻訳と音声通訳を行うSwiftUIアプリを作る。最初の配布形態は開発者の実機へのインストールとし、App Store公開は別途判断する。

- 文章: 手入力・貼り付け、翻訳方向の明示的切替、翻訳、結果表示・コピー。
- 音声: Push-to-Talkで一発話を録音し、認識結果を表示・修正できるようにしてから翻訳・読み上げ。認識後の自動翻訳は設定可能。常時待受や同時通訳は初期範囲外。
- 会話: 日本語話者と英語話者が交互に方向を選んで発話し、原文と訳文を時系列表示。履歴は初期設定ではメモリのみ、終了時に破棄。画面で消去可能。
- 音声・翻訳データを外部送信しない。初期モデル導入、iOSの音声リソース準備には別途ネットワークが必要な場合がある。準備状況を示し、機内モードで検証する。

## 2. 固定する技術方針

| 層 | 採用 | 実装上の条件 |
|---|---|---|
| UI | SwiftUI | 処理中、進捗、キャンセル、エラー、権限状態を表示 |
| 翻訳 | PFN公式 PLaMo 3 Translate 0.8B GGUF | 初期候補Q4_K_M、約0.57 GBは重みの公称サイズ。動作メモリではない |
| 推論 | llama.cpp + Metal | 対象モデル対応を確認した版を固定し、iOS実機でMetal使用を確認 |
| 音声認識 | Apple Speech | 対象言語で端末内認識の可否を実行時に確認し、必須指定。不可なら音声機能を停止 |
| 読み上げ | AVSpeechSynthesizer | 日英の端末上の音声の利用可否を確認。取得が必要なら事前準備を案内 |

最低iOSバージョンは、実際に固定するXcode、Speech API、llama.cpp XCFrameworkの要件から決めてREADMEに記録する。実機はiPhone 16を基準とし、シミュレータだけでオフライン性や性能を合格としない。

## 3. 開始前の確認事項とゲート

1. [公式GGUFモデルカード](https://huggingface.co/pfnet/plamo-3-translate-0.8b-GGUF)と配布ファイルを確認し、モデルのリポジトリrevision、実ファイル名、サイズ、SHA-256、取得日を記録する。Q4_K_Mを初期候補とし、Q4_0は余裕があれば同条件で品質・速度を比較する。Gitに重みをコミットしない。
2. 同じrevisionの公式テンプレート/モデルカードとGGUFメタデータを照合する。履歴の扱いを含む現行の指示を優先し、古い組込みテンプレートを無条件に信用しない。2026-11-08に既定の言語切替の説明が変更されているため、版を固定し差異を記録する。公式テンプレートの所在、版、使用方法を実際に確認し、見つからなければ推測で互換を宣言せず課題として報告する。
3. [PLaMo Community License](https://plamo.preferredai.jp/)の全文とモデルカードを確認し、個人利用、商用利用、モデル同梱・ダウンロード・再配布、表示・通知等の条件を用途ごとに記録する。モデルカードは個人・非商用と商用の条件を区別している。商用・公開配布は条件と必要な登録または契約の確認が終わるまで実施しない。llama.cppとその他依存物のライセンス・必要な表示も確認する。
4. 対応するllama.cppのcommitまたはリリース、取得元、XCFrameworkのSHA-256、Xcode/SDK/iOS版を固定する。公式の[XCFramework手順](https://github.com/ggml-org/llama.cpp/blob/master/docs/xcframework.md)と[SwiftUIサンプル](https://github.com/ggml-org/llama.cpp/tree/master/examples/llama.swiftui)を参照し、PLaMo 3モデルのロードと推論をまず検証する。対応未確認なら次段階を完了扱いにしない。

## 4. 構成とデータの流れ

`SwiftUI → TranslationCoordinator → TranslationEngine → llama.cpp/Metal → GGUF`  
`マイク → SpeechRecognizer → 認識文の確認・修正 → TranslationCoordinator → 翻訳 → AVSpeechSynthesizer`

- `TranslationEngine`、`SpeechRecognizing`、`SpeechSpeaking`をプロトコルで分離し、テスト用実装を用意。推論のC/C++境界とメモリ所有権は小さいラッパーに閉じ込める。
- 推論は直列化し、UIスレッドを塞がない。モデル/コンテキストの寿命を管理し、二重実行・キャンセル後の古い結果による画面更新を防ぐ。
- `idle → listening → recognized → translating → speaking → idle`を基本とし、各状態からキャンセル・失敗に遷移できるようにする。録音を止めてから読み上げ、割り込み、バックグラウンド移行、オーディオ経路変更、権限拒否、モデル不足、メモリ警告を処理する。
- 訳文を履歴に入れることと、モデルへ過去の対訳を文脈として渡すことは別。初期版は各発話を独立翻訳し、文脈利用は明示的に検証後に追加する。

## 5. モデル入力・推論

- UIで日→英/英→日を明示し、公式仕様に従って`source_lang`と具体的な`target_lang`を指定する。日本語の丁寧体を指定する場合のみ`form=polite`を使う。
- `[plamo-translate]`を含む設定は公式チャットテンプレートへのsystemメッセージの形式であり、それだけを生の推論プロンプトとして渡さない。固定版の公式テンプレートを正しく適用するか、公式PFML3形式と同等の整形を実装し、公式の参照出力とバイト/トークン単位で比較する。特殊トークン、BOS/EOS、停止条件、改行と入力中の特殊文字を検証する。
- 両方向、空入力、複数行、Unicode、長文、特殊トークン風文字列、履歴の有無について再現可能なfixtureを用意。決定的設定(初期候補temperature 0)と出力上限を記録し、切り詰めは明示する。入力と出力のトークン合計がコンテキスト上限を超える場合は拒否または境界を保った分割を行い、黙って欠落させない。
- 長文分割は段落・文境界を優先し、順序を保持。分割で文脈や品質が変わり得ることを表示する。初期制限値は実測後に決める。

## 6. 音声とオフライン保証

- マイクと音声認識の利用目的をInfo.plistに記載し、必要な操作時に権限を取得する。拒否・制限・設定変更への案内を実装する。
- `ja-JP`と`en-US`の各認識器で`isAvailable`と`supportsOnDeviceRecognition`を確認し、各リクエストに`requiresOnDeviceRecognition = true`を設定。非対応、リソース未準備、実行時失敗では音声認識を停止して理由を表示し、サーバー認識へフォールバックしない。文章翻訳は利用可能に保つ。[Appleの説明](https://developer.apple.com/documentation/speech/sfspeechrecognitionrequest/requiresondevicerecognition)
- 認識確定後に原文を編集可能にする。無音、途中停止、認識失敗、長時間発話、電話等の割り込みを扱う。再生開始前に録音を終了し、読み上げ終了/停止後に次の発話を受け付ける。
- 読み上げは対象言語の音声を選び、取得済み音声が使えない場合は利用可能な端末内音声を確認し、不可ならテキストを残して通知する。音声リソースの可用性は実機と機内モードで確認する。
- 準備完了後に機内モードで両方向の文章・認識・合成・連続会話を検証する。加えてアプリのネットワーク権限・通信経路をコードと計測で確認し、機内モードだけで全端末・全条件の通信不在を証明したと主張しない。

## 7. モデル導入・保存・安全性

開発初期はユーザーが正規取得したモデルをアプリ内に取り込む方式を優先し、配布や自動取得を前提にしない。Filesからの取り込みではセキュリティスコープを適切に扱い、容量確認、一時ファイル、固定された期待SHA-256の検証、原子的な配置、失敗時の削除を行う。後でダウンロードを追加する場合はHTTPS、取得元固定、同じ検証、再試行・中断・容量不足の処理を設ける。ハッシュの出所・更新手順を記録し、検証できないファイルを実行しない。

モデルはApplication Support等の非公開領域に保存し、再取得可能な大容量データはバックアップ対象から除外する方針を確認する。モデル削除・再導入を用意。原文、音声、訳文をログ、解析サービス、クラッシュレポートへ記録しない。クリップボードへのコピーは利用者操作時のみ。永続履歴を将来追加する場合は明示的な同意、削除、保護、バックアップ方針を別途設計する。モデル生成結果は誤訳し得るため原文を併記し、医療・法律等の重要な判断には確認が必要と案内する。

## 8. 段階的実装と完了条件

### Phase 0: 再現性・実現可能性
固定版、ライセンス、テンプレート、モデル取得方法を記録。macOS上の公式参照とiOS用ライブラリで同じ短文の翻訳を比較し、モデルロードとMetal動作の証拠を得る。未対応なら原因と代替を報告する。

### Phase 1: 文章翻訳
SwiftUI画面、モデル導入、両方向翻訳、コピー、キャンセル、エラー表示。公式テンプレートとの一致テストと端末内実行を確認。

### Phase 2: 音声認識と読み上げ
両言語の権限・オンデバイス可否確認、Push-to-Talk、認識結果編集、読み上げを実装。非対応・拒否・割り込みを検証。

### Phase 3: 会話モード
交互の言語選択、原文・訳文表示、読み上げ、メモリ内履歴消去、連続操作時の状態管理を実装。誤認識や翻訳失敗から復帰できる。

### Phase 4: 品質・性能・セキュリティ
実機のオフライン、翻訳品質、性能・発熱、メモリ、長時間操作、通信・ログを評価し、問題を修正。結果と未解決事項を記録。

### Phase 5: ビルド・引き継ぎ
署名なしの汎用iOSビルド、可能なら署名済み実機インストールを確認し、README、依存版、モデル導入、テスト結果、既知の制限を整備。署名・端末が利用できなければ未実施と報告する。

## 9. ビルドとテストの実行指示

macOSと対応Xcode、iOS SDK、実機、開発者署名を準備。プロジェクト名・scheme作成後、`xcodebuild -list`で確認し、以下を実際の名前に置き換える。

xcodebuild -project <Project>.xcodeproj -scheme <Scheme> -configuration Debug -destination 'generic/platform=iOS' CODE_SIGNING_ALLOWED=NO build
xcodebuild -project <Project>.xcodeproj -scheme <Scheme> -destination 'platform=iOS Simulator,name=<installed simulator>' test

署名なしビルドはコンパイル検証であり、実機起動やMetalの証明ではない。実機はXcodeでTeamとBundle Identifierを設定してビルド・インストールし、iPhone 16で実行する。シミュレータではモックを使うテストを中心とし、Speechと性能は実機で判定する。具体的なscheme、コマンド、署名手順、実行結果をREADMEに残す。

## 10. 性能測定計画(数値は目標、実測値ではない)

ReleaseビルドのiPhone 16で、機種/iOS、Xcode、モデルrevision・量子化、llama.cpp版、Metal使用状況、コンテキスト長、スレッド数、入力・出力トークン数、充電・低電力モード、室温、熱状態を記録する。同一の日英各10件以上の短文と長文セットを使い、冷間ロードとロード済みを分け、各条件3回以上測り中央値と範囲を記載。実際の会話音声も別に測る。

| 指標 | 測定方法 | 暫定目標(未検証) |
|---|---|---|
| モデル初回ロード | 読込開始から推論可能まで | 10秒以内 |
| 短文翻訳 | 翻訳開始から最終表示、各方向 | 中央値5秒以内 |
| 音声応答 | 発話終了から訳文表示、認識・翻訳を内訳記録 | 中央値8秒以内 |
| メモリ | Instruments等でピークと経時変化を記録 | 安定動作、OSによる終了なし |
| 継続利用 | 20分の交互発話、熱状態・停止・速度変化・バッテリー残量を記録 | 途中で停止せず継続 |
| 生成速度 | 初回トークンまでの時間、生成token/s | 実測を記録、目標値は測定後設定 |

端末のバッテリー残量変化は粗い参考値であり、消費電力そのものと区別する。可能ならInstrumentsのエネルギー指標も記録。目標未達は数値を捏造せず、条件・原因・改善策を報告する。

## 11. 受け入れ基準

- [ ] 準備済みiPhone 16の機内モードで日→英/英→日の文章翻訳と、両方向の音声認識・翻訳・読み上げが完了する。言語ごとの端末内認識が使えない場合は明確に失敗し、通信へ切り替えない。
- [ ] 認識文の確認・修正、方向切替、翻訳の中止、原文・訳文表示、コピー、履歴消去が動作する。
- [ ] モデル未導入・破損、容量不足、権限拒否、認識不可、無音、割り込み、長文上限、推論失敗で復帰可能な説明が出る。
- [ ] 公式の固定版テンプレートとの整形比較が日英両方向で通り、停止条件と特殊文字を検証済み。
- [ ] 両方向各20件以上の評価セットを用意し、名前・数字・否定・日時・丁寧さを含め、人手で意味の欠落/重大な誤訳を記録。評価者、基準、結果を提示し、合格水準は実測後に関係者が決める。
- [ ] iPhone 16で上記性能を測定し、目標達成・未達と既知の問題を報告。目標は性能保証ではない。
- [ ] ソースと依存物のライセンス、モデルの用途・配布条件、通信・ログ・保存を確認し、結果を文書化。公開配布の許可は別途判断。
- [ ] クリーンな環境でのビルド手順とテスト結果を記録。実機未検証項目は未検証と明記する。

## 12. Codexへの具体的指示

1. 既存リポジトリがある場合は構成、指示、変更状態を先に確認し、既存の作業を保持する。なければ小さなSwiftUIプロジェクトを作る。
2. Phase 0から順に進め、各段階で動作確認してREADMEに実行環境・結果・ブロッカーを追記。外部依存・モデルの版を固定し、変更理由を残す。
3. 最初に公式テンプレートとモデル互換性の小さな検証を行う。未確認の記法、ライセンス、性能を事実として書かない。ネットワークや実機にアクセスできない場合は、モックで進められる部分を完成させ、未検証点と再現手順を明確にする。
4. モデル本体、個人の音声・入力文、署名情報、秘密情報をリポジトリに含めない。ユニットテストでは合成データを使う。
5. 最終報告には変更内容、ビルドとテスト結果、実機・オフライン・Metalの確認有無、測定条件と実測値、ライセンス確認状況、既知の制限、次の手順を含める。実行できなかったことは明記する。

## 参考資料

- [PFN公式モデルカード・使用法・ライセンス](https://huggingface.co/pfnet/plamo-3-translate-0.8b-GGUF)
- [PLaMo Community License](https://plamo.preferredai.jp/)
- [llama.cpp XCFramework](https://github.com/ggml-org/llama.cpp/blob/master/docs/xcframework.md)
- [llama.cpp iOS SwiftUIサンプル](https://github.com/ggml-org/llama.cpp/tree/master/examples/llama.swiftui)
- [Apple: supportsOnDeviceRecognition](https://developer.apple.com/documentation/speech/sfspeechrecognizer/supportsondevicerecognition)
- [Apple: requiresOnDeviceRecognition](https://developer.apple.com/documentation/speech/sfspeechrecognitionrequest/requiresondevicerecognition)
- [元の記事](https://forest.watch.impress.co.jp/docs/serial/usecopilotpc/2156218.html)

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?