おひとり様LLMをしよう！（スマートフォン偏）

次の記事

TL;DR

• 日本語に特化したテキスト生成AIのモデルがリリースされたよ
• かなり軽量なので、スマートフォンでも動くよ
• オフラインでも回答を生成できるよ
• みんなもお手持ちのスマートフォンで動かしてみよう！

TinySwallow-1.5Bとは

先日、SakanaAIより、TinySwallow-1.5BというテキストAIモデルがリリースされました。

TinySwallow-1.5Bは、Sakana AIが新手法「TAID（Temporally Adaptive Interpolated Distillation）」を用いて開発した日本語小規模言語モデルです。約15億パラメータで構成され、同規模のモデル中で最高水準の日本語ベンチマークスコアを達成しています。このモデルは、スマートフォンなどのエッジデバイス上でオフライン動作が可能で、効率的な知識蒸留により高性能を実現しています。

特徴：

• 高性能：同規模帯で最高水準の日本語ベンチマークスコアを達成
• 小規模：約15億パラメータで、エッジデバイス上での動作が可能
• オフライン動作：スマートフォンやPC上で、外部APIを介さずに利用可能
• 新手法TAIDの採用：効率的な知識蒸留により、高性能と小規模の両立を実現
• オープンアクセス：モデルはHugging Face Hubで公開され、誰でも利用可能

今回はこの「TinySwallow-1.5B」をオフラインで動かしていきましょう。

手順

Andrid

1.アプリのダウンロード

まず、「PocketPal AI」というアプリをGoogle Play Storeからダウンロードしてください。
PocketPal AIをダウンロード

2.アプリの起動・モデルファイルのダウンロード

アプリを起動したら「Go to Models」を押します。

右下の＋マークから、「Add from Hugging Face」を押します。

「Tinyswallow」を検索してダウンロードします。

• Q8バージョン：より正確な応答が可能ですが、やや遅めです
• Q5バージョン：Q8より精度は落ちますが、より速く動作します

Modelsを開いてダウンロードしたモデルの下にある「Load」を押します。

3.使ってみる

iPhone,iPad

1. アプリのダウンロード

まずは「LLMFarm」というアプリをApp Storeからダウンロードしてください。
LLMFarmをダウンロード

2. モデルファイルのダウンロード

TinySwallowには2つのバージョンがあります：

• Q8バージョン：より正確な応答が可能ですが、やや遅めです（14.75トークン/秒）

  • Q8をダウンロード

• Q5バージョン：Q8より精度は落ちますが、より速く動作します（19.89トークン/秒）

  • Q5をダウンロード

3. LLMFarmでの設定

1. ダウンロードしたLLMFarmアプリを開きます
2. 画面右上の＋ボタンをタップします
3. 「Basic」タブの「Model」セクションで「Select model」をタップします
4. 「import from file」から、先ほどダウンロードしたファイルを選択します
5. タイトルに「TinySwallow」と入力します
6. 「Settings template」をタップし、「ChatML」を選択します

4. 追加設定（任意）

以下の設定を変更することで、より良い結果が得られる場合があります：

「Sampling」タブで：

• Temperature: 0.7
• Top_k: 20

「Prompt」タブでは、システムプロンプト（回答のベースとなる命令）を追加できます：

[system](あなたは、優秀なアシスタントです。)
<|im_start|>user
{{prompt}}<|im_end|>
<|im_start|>assistant

5. 使ってみる

「Save」をタップして保存すれば、チャットを開始できます！