はじめに
TRIAL＆RetailAI Advent Calendar 2024 の 3日目の記事です。
昨日は @mizoguchi_ryosuke さんの『小売業における数理最適化事例』という記事でした。
凸二次計画問題を小売業に応用することで、効率的な配分が可能となり、特にポートフォリオのようなリソース管理において効果的だと感じました。素晴らしい記事ですね！
本日は、『Android で大規模言語モデルを試す』 です
前回の記事
皆さん、こんにちは前回のお話の続きで、スマホで AI を動かすことについて話したいです。
実は、最近の調査によると、多くのスマートフォンユーザーが、プライバシーを守りつつ、いつでもどこでも AI の力を借りたいと考えているそうです。特に、個人情報を大切にしたい人や、オフラインでも使える便利なツールを求めている人たちの間で、この需要が高まっているんです。
残念ながら、スマホで オフラインAI を動かす現状では厳しいと言わざるを得ません。最新のスマホでも、メモリは 16GB 程度。大規模言語モデルが必要とする数百 GB には遠く及びません。処理能力も、パソコン用の高性能 CPU や GPU と比べると、まだまだ物足りないんです。
Android で大規模言語モデルを試す環境の準備：
まずは、私のお気に入りのツール、Termux の出番です。Termux って聞いたことありますか？私が初めて使ったときは、驚いたんですよ。Linux 環境がスマホの中に！
Termux のインストール:
Google Play で配布されている Termux はサポートが終了しており、現在は F-Droid 上で配布されています。
そのため、まずは Android 端末に F-Droid アプリをインストールする必要があります。
F-Droid のインストールが完了したら、F-Droid を起動し Termux を検索してください。
検索結果がいくつか出てきますが、「Termux Terminal emulator with packages」と書かれたリストをタップしインストール画面へ進んでください。
「インストール」というボタンをタッチすることでインストールを実行できます。
インストール後、アプリを開いて... おっと、ちょっと待って。黒い画面が出てきても慌てないでくださいね。これが正常です！
それから
Ollama のインストール:
最後
自分好きなモデルインストール
ちなみに、私はQwen2.5-14bモデルのインストールしました。
ollama run Qwen2.5:14b
こちらは好きなモデルを探せます
ここで、お茶でも入れてゆっくり待ちましょう。ダウンロードには時間がかかります。
私のスマートフォンは、Snapdragon 7 Gen ２プロセッサと 16GB の RAM を搭載しています。正直なところ、反応速度はちょっと... 遅いです。質問を入力してから答えが返ってくるまで、じりじりと待つ時間は、まるで受験の結果を待つような気分。（0.5token/sぐから）でも、がっかりしないでください。これは始まりに過ぎません。技術は日々進化しています。今日の「ちょっと遅い」が、明日には「驚くほど速い」に変わるかもしれません。
まとめ
技術は日々進化が速いですね。
２年前LLMモデルはまだまだ一般の方が使えないのに、今は誰でもの端末に入れる。
明日は、@Mikeyさんの「第五次産業革命」という記事です。お楽しみに！
RetailAIとTRIALではエンジニアを募集しています！
興味がある方はご連絡ください！
一緒に働けることを楽しみにしています！