Supershipの名畑です。Dr.STONEのアニメは好きで1期からずっと見続けています。ぜひ原作ラストや読切版までやってほしい。
はじめに
2024年の4月に「Sakana AIによる日本語基盤モデルEvoLLM-JPをMacBook(M2)で動かしてみた」という記事を書きました。
Sakana AIによる日本語基盤モデルEvoLLM-JPをMacBook(M2)で動かすという内容でした。
あれから一年足らず、再びSakana.AIから興味深いリリースがされました。
・高性能な大規模言語モデル（LLM）が持っている知識を、小規模な言語モデル（SLM）に効率的に転移するための新技術「TAID (Temporally Adaptive Interpolated Distillation)」を提案しました。
・TAIDの実用性を示す試みとして、日本語SLM「TinySwallow-1.5B」を開発し、同規模帯では最高水準の日本語ベンチマークスコアを達成しています。TinySwallow-1.5Bを使えば、スマートフォンなどのエッジデバイスでオフラインで言語モデルを利用できます。
・TAIDを提案した論文は、機械学習と人工知能分野におけるトップ国際会議であるICLRに採択されました。
ということで今回はこのTinySwallow-1.5Bを手元のMacBook(M2)で動かしてみます。
環境構築
まず前提としまして、Mac特有の内容は今回ありません。強いて言えば他OSだとPythonがデフォルトでインストールされていない等はあるかもしれませんが。
READMEに書かれている通りの手順で進めます。
リポジトリのclone
まずターミナル上で任意のフォルダに移動し、ファイル一式を持ってきます。
$ git clone https://github.com/SakanaAI/TinySwallow-ChatUI.git
そしてそのフォルダ内に移動します。
$ cd TinySwallow-ChatUI
HTTPサーバを起動
$ python -m http.server 8000
http://localhost:8000 を任意のブラウザで開きます。
するとChatUIが表示されます。
モデルのダウンロード
「チャットを始める」を押すとモデルのダウンロードが始まります。進行状況は以下スクリーンショットのように詳しく示されます。親切です。
容量としては非常に軽く1GBを切っているので、そこまでダウンロードに時間はかからないかと思います。
ちなみにですが、あらかじめモデルが含まれたTinySwallow-ChatUI-Localもありますので、ブラウザ起動以降のネットワーク通信を避けたい方はこちらをご利用ください。
実行
ダウンロード完了後、過去記事「Googleによる生成AIモデル「Gemma 2」をMacBook(M2)で動かしてみた」で試したのと同じプロンプト「日本の都道府県を5つ教えてください」を実行してみました。
回答は以下でした。
バッチリです。
最後に
生成AIも用途に合わせて使いこなすようになってきた昨今、一つの選択肢として素晴らしいと感じました。
余談ですがブラウザ版もございますので、環境を用意せずに試してみたい方はどうぞ。
宣伝
SupershipのQiita Organizationを合わせてご覧いただけますと嬉しいです。他のメンバーの記事も多数あります。
Supershipではプロダクト開発やサービス開発に関わる方を絶賛募集しております。
興味がある方はSupership株式会社 採用サイトよりご確認ください。