0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

iPhone Airを購入したのでローカルSLM実験機として使う話

Posted at

今まで使ってたiPhoneSE2をぶっ壊してしまった(経年劣化による損傷ですが)
がために、新しいiPhoneを調達する羽目になりまして。どうせなら実験機らしい
iPhoneを買おうという話になりました。近年はプロモデルや無印が多く、昔
ながらの実験機のようなiPhoneがラインナップにありませんでしたが、今回
ようやくAirというモデルが出てきたので。これを購入しました(高かったけど)

マザーボードはカメラ周辺に集中させ、残りはすべてバッテリーという特異的な
組み合わせで、モノラルスピーカーにチタンフレーム、シングルカメラ、そして薄さ。
素晴らしく良くできた実験機です。 詳細はIfixの分解を見てもらう方がいいですが。

で、このAirの256GBをどう使っていくかなんですが、A19Proチップのベンチマーク
スコア(主にGeek bench)結構いい感じだったんですよね、パワー出し切れてないですが、
十分です。(というかスコア的にM1超えてる…。)

欲しいのは継続的なパワーではなく強力なレスポンスですので。

で、今回からしばらくローカルSLMの実験をこのiPhone Airに担わせてみようかと。
というのも、ローカルSLM(8Bぐらいまでのモデル)の実験は今までMac book Air
や外部GPUの入ったノートPCで検証してたんですが、それじゃあ、本来の運用に
なってないんじゃないかなと思いまして。

本来ローカルSLMってスマートフォンやタブレット端末といったエッジデバイスで
動作可能なものなので、一般的によく使われる端末と言えばスマホですし、この際
PCでのテストはもうストップして、スマホ単体での検証に移ってもいいかなと
思い初めまして。ちょうどいい機会なので当面日常で使えるポケットローカルSLM機
(当然ですが日常生活でも普通にスマホとして使いますので隙間時間にやる形ですが)
としてやってみようかなと。

で、今回使うSLMモデルなんですが、グーグルのGemma3NのE4Bと、PCでは
ほぼ何でも答えてくれる割と規制が緩いLLMモデルことCohereのCommand Rの
R7B、つまり8Bモデルの二つを使っていこうと思います。

ほかにも優秀なものはあるとは思いますが、私はこの二つを主にPCでも
使ってたのでこれが一番なじみありますので、この二つを使ってしばらく
チャットボット的運用していこうかなと思います。

使うツールはPocket Pal AIというアプリです。いろいろ制限はありますが
PC向けのローカルモデルを引っ張ってこれますし、先行iPadmini5でテストした
時も結構使いやすかったので(こっちは1BitLLMモデルのテスト機)
今回も使ってきます。

とりあえず一週間くらいテストしてみて、どうなるかやってみましょうか。

懸念点はいくつかありますが。

・そもそもコマンドRをiPhoneでテストしてる人ほぼいないので動かすのに手探り
・一回の会話あたりにバッテリー消費がどれぐらいか(私は測定機器やアプリ持って
ないのでおおよその数値しか知ることができない)
・Metal対応してるのか(要はGPUで動いてくれるか)
・おおよその発熱(触った感じで。外部の温度計ないので)

まあ、この辺を収集できればなぁと思ってます。

とはいえかなり小規模かつしょぼい実験にはなりますが、何とかまとめられれば
いいなと思います(まあ、このデータは役に立つことは金輪際ないでしょうけど)

それではまた。

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?