あなたのスマホの中だけで、AIが動きます。 インターネットにつながなくてもかまいません。使うたびのお金もかかりません。すでに145本が公開されていて、すべて無料でダウンロードできます。
この記事に書いてあるのは、次の3つです。
- どんなAIがあるのか(145本すべてのリストと、何に使えるか)
- どのくらい速いのか(すべて実機で走らせて、自分で測った数字です)
- 何がまだ動かないのか(ここが大事です。知らないとつまずきます)
いちばん言いたいこと:Androidは、世界でいちばん使われているスマホです
日本にいると、まわりはiPhoneだらけです。私も最初はそう思っていました。
でも、世界では違います。
| どこ | Android | iPhone(iOS) |
|---|---|---|
| 世界全体 | 68.36% | 31.60% |
| 日本国内 | 36.41% | 63.59% |
(StatCounterのスマホOSシェア、2026-08-23に取得)
世界のスマホ3台のうち、2台はAndroidです。
日本国内だけを見ていると、いちばん人がいる場所を見のがします。日本の開発者ほど、Androidを後回しにしがちです。だからこそ、ここが空いています。
しかも、今まさに掘り出されている最中です。この2か月で、「スマホでは無理」と言われていたAIが3種類も動くようになりました。
そもそも、AIがスマホで動くとはどういうことか
これまでのAIは、遠くの大きなコンピュータ(サーバー)にお願いして、答えを送り返してもらっていました。
でも今は、スマホの中だけで完結します。
- インターネットにつながなくても動きます(電波のない場所でも使えます)
- 写真も声も、スマホの外に出ていきません(プライバシーが守れます)
- 使うたびにお金がかかりません(APIの料金がゼロです)
- 返事がすぐ返ってきます(通信の待ち時間がありません)
これをオンデバイスAIと呼びます。むずかしい名前ですが、「スマホの中のAI」という意味です。
LiteRTとは何か
LiteRTは、Googleがつくった「AIをスマホで走らせる仕組み」です。Android、iPhone、パソコン、すべてで動きます。以前は TensorFlow Lite という名前でしたが、新しくなってLiteRTになりました。
CPU(スマホの頭脳)でも動きますし、GPU(絵をえがくのが得意なチップ)でも動きます。GPUのほうが速いことが多いのですが、いつもそうとは限りません。これは後でくわしく書きます。
LiteRT-LMは、そのなかでも「おしゃべりするAI(LLM)」を走らせる担当です。言葉を切り分けたり、会話をおぼえたりする仕事も、まとめてやってくれます。
.litertlm はどんなファイルか
.litertlm は、おしゃべりAIのお弁当箱のようなファイルです。
中に、AIの中身(重み)と、言葉の辞書(トークナイザ)と、話し方のルール(チャットテンプレート)が、すべて入っています。だからこのファイル1個をダウンロードするだけで、すぐおしゃべりできます。
写真を見分けるAIのように、1つの仕事だけをするAIは、.tflite というファイル1個で配っています。
アプリに入れられるAIの早見表(やりたいこと別)
ここがいちばん大事な表です。 やりたいことから探せます。右の数字は、実機で測った時間です。
| やりたいこと | 使えるAI | 1回にかかる時間 |
|---|---|---|
| カメラで物をみつける | yolox-nano / yolox-tiny / RF-DETR-Nano / D-FINE-S / RT-DETRv2-S | yolox-nano 24.0ミリ秒(Pixel 8a・GPU) |
| 人だけ切りぬく・背景を消す | MODNet / U-2-Net / ormbg / DIS-ISNet / Cloth-Segmentation-U2Net | MODNet 59.6ミリ秒(Pixel 8a・GPU) |
| 体のポーズをみつける | RTMPose-s / lightweight-openpose / RTMW-m-WholeBody / RTMPose-Hand | RTMPose-s 15.8ミリ秒(Pixel 8a・GPU) |
| 顔まわり(なりすまし判定・顔さがし・表情・目線・むき) | Silent-Face-Anti-Spoofing / YuNet-Face / HSEmotion-B0 / L2CS-Gaze360 / 6DRepNet | Silent-Face 5.1ミリ秒(Pixel 8a・GPU) |
| どのくらい遠いか当てる(深度) | MiDaS-small / Depth-Anything-3-Small / MoGe-2 / TIPSv2-B14-DPT | MiDaS-small 19.9ミリ秒(Pixel 8a・GPU) |
| 写真をきれいにする・ノイズをとる・暗いのを明るく | real-esrgan-x4v3 / GFPGAN-v1.4 / NAFNet / DehazeFormer-MCT / CPGA-Net-LowLight / EDSR-x4 | real-esrgan-x4v3 40.4ミリ秒(Pixel 8a・GPU) |
| 絵をかいてもらう(画像生成) | Z-Image-Turbo / FLUX.2-klein-4B | Z-Image-Turbo 本体 660ミリ秒/1ステップ(Pixel 8a・GPU) |
| 写真から消しゴムマジック | MI-GAN-512-Places2 | 68.1ミリ秒(Pixel 8a・GPU) |
| 文字を読む(OCR) | PP-OCRv5 / PaddleOCR-VL-1.6 | PP-OCRv5の文字さがし 45.8ミリ秒(Pixel 8a・GPU) |
| 写真を見せて質問する(VLM) | LFM2.5-VL-450M / SmolVLM2-500M / InternVL3_5-2B / Qwen2-VL-2B / Ovis2.5-2B | Qwen2-VL-2B 1秒に42.7文字ぶん(M4 Max・CPU) |
| おしゃべり・要約・書きなおし | LFM2.5-1.2B-JP / Qwen3.5-0.8B / Qwen3.5-2B / Ministral-3-3B | Qwen3.5-0.8B 1秒に41.4文字ぶん(iPhone 17 Pro・GPU) |
| じっくり考えてもらう(reasoning) | Qwen3-4B-Thinking-2507 / VibeThinker-3B / Phi-4-mini-reasoning / Ministral-3-3B-Reasoning | Qwen3-4B-Thinking 1秒に68.5文字ぶん(M4 Max・GPU) |
| プログラムを書く手伝い | Qwen2.5-Coder-1.5B-Instruct | — |
| スマホの中だけで検索する(RAG) | Qwen3-Embedding-0.6B / Qwen3-Reranker-0.6B / LFM2.5-ColBERT-350M / granite-embedding-311m-multilingual-r2 | — |
| 個人情報を見つけて守る・入力を仕分ける | LFM2.5-Encoder-350M-PII-Detector / Prompt-Router / Policy-Linter / Spellchecker | 個人情報さがし 110.4ミリ秒(Pixel 8a・CPU) |
| 声で読み上げる(TTS) | Kokoro-82M / Matcha-TTS / kitten-tts-nano-0.8 | Matchaのデコーダ 19.0ミリ秒(M4 Max) |
| 日本語の声を文字にする | parakeet-tdt_ctc-0.6b-ja / japanese-zipformer-base | — |
| 音まわり(だれが話したか・なんの音か・音の高さ・ノイズ取り) | Speaker-Diarization / PANNs-CNN14-AudioSet / CREPE-pitch / CMGAN / TIGER-DnR | Speaker-Diarization 21.5ミリ秒(Pixel 8a・GPU) |
| あぶない中身をチェックする | Shieldstral-1.0-3B | — |
「1秒に◯文字ぶん」は、正確にはトークン/秒です。日本語だとだいたい文字数に近い数字になります。
5ミリ秒から60ミリ秒は、まばたきより速い時間です。カメラの映像に重ねても、カクつきません。
今がチャンスな理由:2か月で壁が3枚こわれました
2026年8月4日 — 新しいかたちのAIが動くようになりました。 LiteRT-LMの0.15.0から、Mamba2やgated-deltaという、これまでのAIとは記憶のしかたが違うモデルが動くようになりました。以前は「記憶する場所が見つからない」とエラーで断られていました。
2026年8月13日 — そのモデルがGPUでも動きました。 granite-4.0-h-1b(Mamba2)とQwen3.5-0.8B(gated-delta)が、iPhoneのGPUの上でちゃんとおしゃべりしました。
2026年8月20日 — GPUで出力が真っ白になる問題が、1行で直りました。 Nanbeige4.2-3Bは、GPUで動かすと答えがすべて0になっていました。設定に prefer_activation_type = fp32 と1行足したら直りました。AIの中身はまったく変えていません。速さは1秒に39.7文字ぶんで、CPUの12.7の3.1倍でした。(この直した版はまだ配っていません)
壁が3枚も続けてこわれたということは、次の新しいAIも同じやり方で通せるということです。 今がいちばん掘れる時期です。
どのくらい速いのか ① パソコン(Mac M4 Max)
「1秒に何文字ぶん進めるか」の数字です。prefillは読むはやさ、decodeは書くはやさだと思ってください。
| AIの名前 | GPUで読む | GPUで書く | CPUで読む | CPUで書く |
|---|---|---|---|---|
| OLMo-2-1B-Instruct | 3223.0 | 150.1 | 346.7 | 33.3 |
| Falcon-H1-0.5B-Instruct | 2650.2 | 127.5 | 473.1 | 59.0 |
| Qwen3.5-0.8B(gated-delta) | 1972.4 | 161.8 | 665.9 | 46.7 |
| granite-4.0-h-1b(Mamba2) | 1683.9 | 134.7 | 246.8 | 39.2 |
| Falcon-H1-1.5B-Instruct | 1447.5 | 102.9 | 237.6 | 33.7 |
| SmolLM3-3B | 1353.6 | 93.2 | 140.6 | 24.1 |
| Ministral-3-3B-Instruct | 1234.3 | 95.4 | 123.2 | 22.3 |
| Qwen3-4B-Thinking-2507 | 999.3 | 68.5 | 111.0 | 17.8 |
| Nemotron-H-4B-Instruct-128K | 724.4 | 75.0 | 99.2 | 20.1 |
測りかたは litert-lm benchmark -p 256 -d 256 --runs 3 --cache no です。ふつうのAIはlitert-lm 0.15.0(8月11日)、新しいかたちのモデル(Qwen3.5・granite・Falcon-H1・Nemotron-H)は0.16.0(8月13日)で測りました。
写真も見られるAI(VLM)も同じ環境です。CPUで書くはやさは、LLaVA-OneVision-0.5Bが113.7、PaddleOCR-VL-1.6が53.3、Qwen2-VL-2Bが42.7、SmolVLM2-2.2Bが33.6でした。VLMのGPUの数字をのせていない理由は、後で説明します。
どのくらい速いのか ② Androidのスマホ(Pixel 8a・メモリ8GB)
おしゃべりAIの場合です。 granite-4.0-h-1bをGPUで動かすと、読むのが1秒に49.4、書くのが9.5。CPUだと読むのが30.3、書くのが10.0でした。
つまり、GPUにすると「読む」は1.6倍はやくなりますが、「書く」はほとんど変わりません。 ここは意外なところです。
もうひとつ大事な点があります。Qwen3.5-0.8Bを同じスマホで3回走らせたら、読むはやさが50.1から133.9まで、書くはやさが8.0から13.6までバラつきました。スマホの数字は、1回測っただけでは決まりません。
写真や音のAIの場合です。 こちらはとても速いです。
| AIの名前 | GPU | CPU |
|---|---|---|
| Silent-Face-Anti-Spoofing(なりすまし判定) | 5.1ミリ秒 | 7.9ミリ秒 |
| lightweight-openpose(ポーズ) | 15.0ミリ秒 | 157.3ミリ秒 |
| RTMPose-s(ポーズ) | 15.8ミリ秒 | CPU非対応 |
| MiDaS-small(深度) | 19.9ミリ秒 | CPU非対応 |
| Speaker-Diarization(だれが話したか) | 21.5ミリ秒 | CPU非対応 |
| yolox-nano(物さがし) | 24.0ミリ秒 | CPU非対応 |
| Ultra-Fast-Lane-Detection(車線) | 25.3ミリ秒 | 252.3ミリ秒 |
| Fast-Neural-Style(絵ふう加工) | 37.4ミリ秒 | 406.0ミリ秒 |
| real-esrgan-x4v3(高画質化) | 40.4ミリ秒 | 532.1ミリ秒 |
| PP-OCRv5(文字さがし) | 45.8ミリ秒 | CPU非対応 |
| MODNet(切りぬき) | 59.6ミリ秒 | 418.9ミリ秒 |
| MI-GAN-512(消しゴムマジック) | 68.1ミリ秒 | CPU非対応 |
| NAFNet-GoPro(ブレとり) | 97.2ミリ秒 | CPU非対応 |
「CPU非対応」は、XNNPACKというCPU側の実行担当が「この形は扱えない」と断ったという意味です。測りかたは benchmark_model --use_gpu=true --warmup_runs=10 --num_runs=50 です。
絵をかくAIも、1ステップぶんならスマホのGPUに乗ります。 Z-Image-Turboの本体が660.0ミリ秒(CPUだと3604.3)、FLUX.2-kleinのdouble blockが812.9ミリ秒(CPUだと2272.2)でした。ただし、最後の仕上げをするVAEは乗りません。これも後で説明します。
どのくらい速いのか ③ iPhone 17 Pro
Ministral-3-3B-Instructを3回:書くはやさ14.2〜17.6、読むはやさ39.7〜42.3、最初のひと文字まで0.40〜0.42秒、メモリは約1.45GB、よみこみに12〜62秒でした。
新しいかたちのAIも、iPhoneのGPUで動きました(iPhone18,1 / iOS 27.0、2026年8月13日)。
| AIの名前 | GPUで書く | GPU 最初のひと文字まで | CPUで書く | CPU 最初のひと文字まで |
|---|---|---|---|---|
| Qwen3.5-0.8B(gated-delta) | 41.4 | 472ミリ秒 | 14.6 | 926ミリ秒 |
| granite-4.0-h-1b(Mamba2) | 29.8 | 793ミリ秒 | 15.9 | 1314ミリ秒 |
少し前をふりかえると、granite-4.0-h-350mがiPhoneのCPUで1秒に21.4文字ぶん動いたのが2026年8月5日です。これがMamba2という種類がiPhoneで動いたいちばん最初の記録でした。そこからGPUまで、8日しかかかりませんでした。
動かないものも、正直に書きます
楽しい話だけでなく、こちらも同じくらい大事です。知らないと時間をむだにします。
- iPhoneのAI専用チップ(ANE)は使えません。 LiteRT-LMが使えるのはCPUとGPUだけです。だからAppleの標準のAIと速さで勝負する場所ではありません。
-
iPhoneには2GBの壁があります。 ただし特別な権利(
increased-memory)をつけたアプリなら、2.87GBの大きいAIもiPhone 17 Proで動きました(LFM2.5-2.6B int8)。ふつうのアプリだと断られます。 -
絵をかくAIの仕上げ担当(VAE)は、AndroidのGPUに乗りません。
clCreateImage: Invalid image sizeと断られます。CPUでやると1.8〜3.4秒かかります。 - 半分だけGPUにすると、かえって遅くなることがあります。 CLIPSegの仕上げ部分は、GPUだと96.2ミリ秒、CPUだと11.7ミリ秒でした。GPUが引きうけたのは196個のうち44個だけです。LFM2.5のエンコーダ群も、GPUのほうが2.6〜2.8倍おそいです。GPUにする前に、かならず測ってください。
- AndroidのCPU実行担当(XNNPACK)は、fp16という形を断ることがあります。 上の表の「CPU非対応」がこれです。
- MoEという種類は、まだ速い経路を通れません。 用意されている専用の経路がGELUという部品しか通せず、世の中のMoEはSiLUという別の部品を使っていることが多いためです。
- AI Edge Galleryというアプリで、GPUを選ぶと落ちることがあります。 私が変換したAIでも、公式のAIでも同じように落ちるので、アプリ側の問題です。GPUが必要ならCLIかAndroidのAPIを使ってください。
-
新しいかたちの
.litertlmは、Galleryではまだ開けません(No KV cache inputs foundと出ます)。granite-4.xやQwen3.5を試すときはCLIを使ってください。 - MLA(DeepSeek系の記憶のしかた)は、まだふつうの手順に入っていません。 CPUで動くところまでは行っています。
動かしかた
いちばんかんたんなのは、AI Edge Galleryというアプリです。 Googleの公式アプリです。入れたら、ハンバーガーメニュー → Models → 青い+ボタン → From local model file で .litertlm を読ませます。
アプリの名前(パッケージ名)は com.google.ai.edge.gallery です。古い com.google.aiedge.gallery は別物なので注意してください。
ここがひっかかりやすいポイントです。 読み込むときのダイアログのいちばん下に「Compatible accelerators」という項目があります。最初はCPUだけが選ばれているので、GPUを試したいなら自分でタップする必要があります。写真も見せたいなら「Support image」にもチェックを入れてください。
メモリの目安です。 GPUで動かすとき、AIのファイルの約2倍のメモリを使います。3Bで約2.7GBのAIなら、12GB以上のスマホがよいです。8GBのスマホなら1〜2Bの小さいモデルを選ぶか、CPUで動かしてください。
アプリに組みこむときです。 Kotlinから com.google.ai.edge.litertlm:litertlm-android を使います。GPUを使うなら libOpenCL.so の <uses-native-library> を書くのを忘れないでください。写真のAIのような .tflite は ai_edge_litert から直接呼べます。
コマンドで試すときです。 litert-lm のCLIで、Hugging Faceから直接ダウンロードして動かせます(import --from-huggingface-repo と run)。
AI 145本、すべてのリスト
リンクの先に、測った速さの表が入っています。すべて litert-community にあります。まとめて見たいならこちらのコレクションです。
最初に出したのが2026年6月23日、いちばん新しいのが8月20日。61日で145本、1日に2.4本のペースです。
おしゃべりするAI(32本)
VibeThinker-3B / LFM2.5-1.2B-Instruct / Qwen3.5-0.8B / Ministral-3-3B-Instruct-2512 / SmolLM3-3B / Qwen3-4B-Thinking-2507 / LFM2.5-1.2B-Thinking / DeepSeek-R1-Distill-Qwen-7B / Qwen3.5-4B / Nanbeige4.2-3B / LFM2.5-2.6B / Qwen2.5-Coder-1.5B-Instruct / LFM2.5-1.2B-JP / Qwen3.5-2B / Phi-4-mini-reasoning / OLMo-2-1B-Instruct / Ministral-3-3B-Reasoning-2512 / Nanbeige4.1-3B / Jan-nano / granite-4.0-h-1b / Falcon-H1-1.5B-Instruct / Polaris-4B-Preview / granite-4.0-h-350m / FastContext-1.0-4B-SFT / granite-4.1-3b / Falcon-H1-0.5B-Instruct / Falcon-H1-3B-Instruct / Zamba2-2.7B-instruct / RWKV-7-World-0.1B-LiteRT / Nemotron-H-4B-Instruct-128K / Zamba2-1.2B-instruct / Falcon-H1-1.5B-Deep-Instruct
日本語が得意なのは LFM2.5-1.2B-JP です。多言語ならQwen3.5系とMinistral-3系です。じっくり考えてほしいときはQwen3-4B-Thinking、VibeThinker-3B、Ministral-3-3B-Reasoning、Phi-4-mini-reasoning、LFM2.5-1.2B-Thinkingです。Mamba2・gated-delta・RWKVという新しいかたちのモデルもあります。そのうちMamba2(granite-4.0-h)とgated-delta(Qwen3.5)は、2026年8月13日からスマホのGPUでも動くようになりました。
写真を見て答えるAI(18本)
Qwen2-VL-2B / Bonsai-Image-ternary-4B / LLaVA-OneVision-0.5B / SmolVLM2-500M / InternVL3_5-2B / PaddleOCR-VL-1.6 / SmolVLM2-2.2B / LFM2.5-VL-450M / Mage-VL / LFM2.5-VL-1.6B / LFM2.5-VL-3B / InternVL3-2B / InternVL3_5-1B / InternVL3-1B / Ovis2.5-2B / Shieldstral-1.0-3B / InternVL3_5-4B / North-Micro-Vision-Instruct
450MBくらいの小さいものから4Bの大きいものまであります。文字を読むのが得意なのはPaddleOCR-VL-1.6、あぶない写真を見分けるのはShieldstral-1.0-3Bです。450MのLFM2.5-VLなら、そこまで高くないAndroidでも動きます。
意味をベクトルにするモデル・順番をつけかえるモデル(6本)
Qwen3-Embedding-0.6B-LiteRT / Qwen3-Reranker-0.6B-LiteRT / LFM2.5-Embedding-350M / Nemotron-3-Embed-1B / LFM2.5-ColBERT-350M / granite-embedding-311m-multilingual-r2
スマホの中だけで検索するときの部品です。インターネットなしで、自分のメモや写真を検索できるようになります。
補助のエンコーダ(7本)
SAM2.1-Hiera-Tiny-Image-Encoder / LFM2.5-Encoder-350M-PII-Detector / LFM2.5-Encoder-350M-Prompt-Router / LFM2.5-Encoder-350M / LFM2.5-Encoder-350M-Spellchecker / LFM2.5-Encoder-230M / LFM2.5-Encoder-350M-Policy-Linter
個人情報さがし、入力の仕分け、スペル直し、ルール違反チェックです。Pixel 8aのCPUで、短い文なら106〜167ミリ秒、長い文でも581〜611ミリ秒でした。**大きいAIを呼ぶ前に、これらで下ごしらえできます。**個人情報をスマホの外に出さずに止められます。
声で読み上げるモデル(6本)
Matcha-TTS / Qwen3-TTS-12Hz-0.6B-Base / Kokoro-82M / kitten-tts-nano-0.8 / Inflect-Nano-v2 / Kokoro-G2P-en-US
Matcha-TTSは、文を読む部分が14.4ミリ秒、組み立てる部分が19.0ミリ秒、声にする部分が691.0ミリ秒です。Kokoro-82Mは本体が165.0ミリ秒、声にする部分が396.1ミリ秒です。時間のほとんどは、最後の声にする部分が使っています。(M4 Max・8スレッド・20回の中央値)
声を文字にするモデル(5本)
wav2vec2-keyword-spotting / Zipformer-medium-CR-CTC-LiteRT / parakeet-tdt_ctc-0.6b-ja / wav2vec2-base-960h-LiteRT / japanese-zipformer-base-LiteRT
日本語のモデルが2つあります(parakeet-tdt_ctc-0.6b-ja と japanese-zipformer-base)。合言葉を聞き分けるモデルの前半分は、Pixel 8aのGPUで38.4ミリ秒でした。
写真と音のAI(71本)
FLUX.2-klein-4B-LiteRT / Z-Image-Turbo-LiteRT / yolox-nano-litert / UniSal-Saliency-LiteRT / yolox-m-litert / TIGER-DnR-LiteRT / MiDaS-small / Ultra-Fast-Lane-Detection-LiteRT / CLIPSeg-rd64-LiteRT / SAM2.1-Hiera-Tiny-Mask-Decoder / PP-OCRv5-LiteRT / real-esrgan-x4v3-litert / Silent-Face-Anti-Spoofing-LiteRT / NIMA-LiteRT / Fast-Neural-Style-LiteRT / Places365-ResNet18-LiteRT / MODNet-LiteRT / PIDNet-S-Cityscapes-LiteRT / Depth-Anything-3-Small / GFPGAN-v1.4-LiteRT / RAM-Plus-LiteRT / yolox-tiny-litert / SigLIP2-base-patch16-224 / U-2-Net / RTMPose-Animal-AP10K-LiteRT / RTMPose-Hand-LiteRT / L2CS-Gaze360-LiteRT / ormbg-LiteRT / TwinLiteNet-LiteRT / MI-GAN-512-Places2-LiteRT / D-FINE-S-LiteRT / RF-DETR-Nano-LiteRT / xfeat-litert / YuNet-Face-LiteRT / MoGe-2-LiteRT / RT-DETRv2-S-LiteRT / PANNs-CNN14-AudioSet-LiteRT / NAFNet-SIDD-width32-LiteRT / DehazeFormer-MCT-LiteRT / NAFNet-GoPro-width32-LiteRT / DewarpNet-LiteRT / EDSR-x4-LiteRT / DINOv2-ViT-S14-LiteRT / MoViNet-A0-Stream-LiteRT / PlantNet-300K-ResNet18-LiteRT / DM-Count-Crowd-LiteRT / Mimi / Speaker-Diarization-LiteRT / lightweight-openpose / Cloth-Segmentation-U2Net-LiteRT / PE-Core-base-patch16-224 / 6DRepNet-HeadPose-LiteRT / DIS-ISNet-LiteRT / YOLACT-ResNet50-LiteRT / BiSeNet-Face-Parsing-LiteRT / Basic-Pitch-LiteRT / HSEmotion-B0-LiteRT / RTMPose-Face-WFLW-LiteRT / U2Net-Portrait-Sketch-LiteRT / yolox-s-litert / RTMW-m-WholeBody-LiteRT / SINet-V2-Camouflage-LiteRT / RTMPose-s-LiteRT / M-LSD-tiny-LiteRT / CREPE-pitch-LiteRT / CMGAN-LiteRT / Vision-RWKV-S-LiteRT / CPGA-Net-LowLight-LiteRT / 3DDFA-V2-LiteRT / TIPSv2-B14-DPT-LiteRT / RF-DETR-Seg-Nano-LiteRT
物さがし、切りぬき、深度、ポーズ、高画質化、文字読み、画像生成、音の分析です。今あるアプリに機能を1つ足すなら、この棚がいちばん手っとりばやいです。
よくある質問
Q. LiteRTとTensorFlow Liteは違うのですか?
A. 同じものです。LiteRTはTensorFlow Liteの新しい名前です。.tflite というファイルはそのまま使えます。おしゃべりAI用に .litertlm が新しく増えました。
Q. Androidのスマホは、どんなものが必要ですか?
A. GPUで動かすならOpenCLが使える機種であればOKです。この記事の数字はPixel 8a(メモリ8GB)で出しました。おしゃべりAIをGPUで動かすなら、AIのファイルの約2倍のメモリを見ておいてください。
Q. iPhoneでも動きますか?
A. 動きます。iPhoneではMetalというGPUを使います。ただしANE(AI専用チップ)は使えません。
Q. GPUとCPU、どちらが速いですか?
A. ここがおもしろいところです。おしゃべりAIの「読む」はGPUが数倍速いのですが、「書く」はスマホによってはCPUと変わりません(Pixel 8aのgranite-4.0-h-1bで、GPU 9.5 に対してCPU 10.0)。写真の小さいAIはGPUが数倍から10倍速いのですが、半分しかGPUに乗らないとCPUより遅くなります。だから、かならず両方ためしてください。
Q. AIを小さくする方法(量子化)はどうなっていますか?
A. おしゃべりAIはint8とint4を用意しています。int4のときは、かならずブロックごと(blockwise)に小さくしてください。チャンネルごと(channelwise)にすると、精度が大きく落ちます。ブロックの大きさはAIの深さと仕事の内容で変わります。計算のように正確さが必要な仕事はblock32、じっくり考えるAIはblock128が安定します。
Q. 日本語は使えますか?
A. 使えます。日本語が得意なLFM2.5-1.2B-JP、日本語の声を文字にするparakeet-tdt_ctc-0.6b-jaとjapanese-zipformer-base、多言語の意味がわかるgranite-embedding-311m-multilingual-r2があります。Qwen3.5系とMinistral-3系も日本語に対応しています。
Q. お金はかかりますか?ライセンスは?
A. ダウンロードは無料です。ライセンスはそれぞれ元のAIのものを引き継いでいます。仕事で使えるかどうかは、リンク先のページで確認してください。
Q. 使いたいAIがリストにない場合は?
A. 変換のやり方をすべて hf-to-litertlm に置いてあります。1つのコマンドで同じことができるようにしてあります。
数字の出どころ
ここは大事な話です。
測る道具は、ときどきウソをつきます。 SmolVLM2-500MをGPUで測ると「1秒に104,039文字ぶん読める」と出ます。でも、同じ設定で本当に写真の説明をさせると、<|endoftext|> という記号を延々と吐き続けるだけです。InternVL3-1Bと2Bは !!!! と言い続けます。動いていないのに、速さの数字だけは出てしまいます。
だから、本当にちゃんと答えられたときの数字だけをのせています。VLMのGPUの数字がないのは、そういう理由です。
もうひとつあります。同じAIでも、測る道具が違うと桁が変わることがあります(M-LSD-tinyは2ミリ秒と26.3ミリ秒)。**どのチップでどの道具で測ったかを書いていない数字は、比べてはいけません。**この記事にはすべて書いてあります。
あと、まとめて測るときは --cache no をつけてください。つけ忘れると、パソコンに81.3GBのキャッシュがたまります。
145本という数とダウンロード数は、2026年8月23日にHugging FaceのAPIから取りました。速さは、すべて手元の測定ログから引いています。カードに書いてある文章を写しただけの数字は、1つも入っていません。
移植・最適化の相談を受けています。rockyshikoku@gmail.com