はじめに
今回の記事は、「iPhone でローカルLLM」という話です。
使ったモデル
使ったのは、以下の公式のポストに書かれている「TinySwallow-1.5B」です。
公式の記事によると、「新手法「TAID」を用いた小規模日本語言語モデル」とのことです。
自分が動作させた時の様子
先に、自分が iPhone で動作させた時の様子を動画で示します。
上記の動画は「機内モードにした iPhone で試している時の様子」を、画面収録機能で撮っています（インターネットへの接続をがなくても動作することを分かるようにする意図）。
上記で使っている iPhone が、iPhone 16 Pro というのが処理速度に寄与している部分があるかもしれないですが、サクサク動作しています。
なお上記のセットアップは、PC などを使わず iPhone だけで進めることができました。
進めた時の手順
ここからは、進めた手順に関する話です。
元にする情報
手順は、以下で公式が書いている内容をなぞっていけばできてしまいます。
●TinySwallow-ChatUI/docs/iphone.md at main · SakanaAI/TinySwallow-ChatUI
https://github.com/SakanaAI/TinySwallow-ChatUI/blob/main/docs/iphone.md
ちなみに自分は、iPhone用アプリのダウンロードも、その後のモデルのダウンロードなども外出先で行った形でした。
PC などは不要で、iPhone のみでセットアップを完結されられました。
iPhone で試した時の流れ
iPhone でセットアップをしてる時の様子を画像としてキャプチャしていたので、それを掲載しつつ流れを書いていきます。
公式手順・アプリ
以下は、「公式の手順が書かれたページの冒頭」「公式手順で利用するアプリとして掲載されている LLM Farm」「LLM Farm を立ち上げた直後の画面」の 3つを、並べている状態の画像です。
公式手順を見つつ、その手順で指定されていた iPhoneアプリをダウンロード・起動した際の流れです。
モデル関連
次に、公式のページに掲載されている 2種類のモデル「Q8バージョン」「Q5バージョン」のうち、「より正確な応答が可能」と書かれている「Q8バージョン」のほうをダウンロードしてみました。
以下は、ダウンロード中の様子です。
ダウンロードしたモデルのサイズは「1.65GB」でした。
アプリでの設定操作
モデルのダウンロードが完了した後は、アプリ上での操作を進めました。
以下は、先ほどダウンロードしたモデルをセットした時の流れです。
その後、以下の操作を行ってテンプレートを「ChatML」にしました。
上記を進めた結果、アプリのトップ画面で以下の赤枠で囲んだ部分を選ぶことで、ローカルLLM によるチャットを試せる状態になりました。
アプリでのチャット
上記の設定を完了させた後、機内モードにしてチャットを試しました。
その際の様子は以下のとおりです。
この後、冒頭に掲載した動画の内容も試した、という流れでした
その他
他に試された方のポスト
自分がこの話の動画あをポストした後、それを引用する形でご自身で試された内容をポストされた話があるので掲載しました。
（引用ポストだったので、X の通知に出てきました）
A-Uta さん
以下は A-Uta さんのポストです。
試された環境としては、iPhone 12 Pro で、アプリは「PocketPal」を使われたとのことです。
菅原のびすけ さん
こちらは 菅原のびすけ さんのポストです。
サイズ 1.6GB のモデルで、機内モードで試されたようです。