ollama on FreeBSD

調査の都合でPCを新規購入したので、FreeBSDでもollamaが動くか確認した。前に動作させたレポートは見かけてたので、それを試す形。

材料

• PC : GIGABYTE G6 KF-H3JP854KH
• CPU : Core i7-13620H
• GPU : GeForce RTX4060 Laptop(8G)

構築手順

FreeBSD 14.2をクリーンインストールし、GPU driverとollamaをpkg installするだけ。

pkg install nvidia-driver-550.127.05
pkg install ollama

nvidia-smiでnvidia-driverを確認する。ollamaだけならCUDAは要らない。

+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 550.127.05             Driver Version: 550.127.05     CUDA Version: N/A      |
|-----------------------------------------+------------------------+----------------------+

次にollamaのパッケージを確認する。

pkg info ollama

ollama-0.3.6_3
Name           : ollama
Version        : 0.3.6_3

macOSやUbuntuのollamaは0.6.2なので、最新版に更新ができてない。そのためPhi4-miniを試したらエラーで動かない。なのでmistralで代用することにした。

ollamaの動作確認

手順通りにollama-serverを起動する。

OLLAMA_NUM_PARALLEL=1 OLLAMA_DEBUG=1 LLAMA_DEBUG=1 ollama start

別の端末でmistral:latestをダウンロードして起動する。サブコマンドpullはLLMをダウンロードするので時間を要する。

ollama pull mistral
ollama run mistral

念のため。別の端末でnvidia-smiコマンドを起動して、LLMがVRAMに格納されたかを確認する。

• LLM起動前

|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 ...    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   37C    P8              2W /   60W |       2MiB /   8188MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

• LLM起動後

|-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 4060 ...    Off |   00000000:01:00.0 Off |                  N/A |
| N/A   43C    P3             15W /   60W |    4359MiB /   8188MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

LLMに質問を投げてみる。大きなモデルではないため、返事は大分怪しい。

>>> 東京について教えてください。
東京（東京都）は日本の首都で、世界的な大都市である。都内には多数の観光地や企
業の本部があります。

1. シンジュウ・ゴーセックス（Shinjuku Gyoen National Garden）：歴史的な公園
で、東京の人々や観光客に多くの人気があります。ここでは、漁巻花、日本の四季を
感じられる事が出来ます。
2. 東京スカイツリー（Tokyo Skytree）：東京都内最高の建築物で、観光地としても
知名度高い存在です。高さ1,576メートルで、観光台から東京を全景に見れます。
3. 国立創立記念 tower（Nihonbashi Mitsukoshi）：日本の創立のために行われた建
築物で、東京の歴史を巡りかけることができます。
4. 台東モール（Taito Mori）：日本の文化や芸術を体験できる観光地で、毎年12月
には大量のLEDライトアップが行われています。
5. 東京都立世界博物館（Edo-Tokyo Museum）：日本の歴史を学びたい方にお勧めで
す。ここでは、江戸時代から現在までの東京の文化や歴史を鑑賞できます。
6. アスカーハウス（Askul House）：音楽愛好者にお勧めです。ここでは、ジャズ、
クラシック、ブルジャズなど多種類の演奏が行われます。
7. 浅草寺（Sensoji Temple）：東京の大観光地の1つで、江戸時代に開かれた日本最
古の寺であり、東京における仏像が多数あります。
8. 神田広町（Ginza）：世界的な商品店舗やレストラン、ブランドショップを多数持
ち合わせています。
9. 東京のタームニンテル（Tokyo Tower）：東京スカイツリーより130メートル高く
、観光台から東京を全景に見れます。夜が来た時には、光るものを見ることができま
す。
10. ライブ・ハウス・スーパー・アリーナ（Live House Super Arena）：音楽を愛し
ている人々にお勧めです。ここでは、日本のアーティストやグローバルアーティスト
のライブを見れます。

東京は、多数の観光地があり、もちろん企業の本部や政府官庁もたくさんある都市で
す。日本を訪れた方におすすめできます。

>>> 東京の秋葉原について詳しく教えてください。
秋葉原（秋葉原区）は、東京都の大分野区にあり、歴史的な街区です。ここでは、ア
ニメやコミック、ゲームなどの関連ビジネスに多くの店舗が集まっています。

1. アニメ・コミック関連店舗：秋葉原の中心地帯では、アニメやコミックを愛して
いる方にとって、多数の特製商品ショップがあります。一例として、マンゴラーズ（
Mangoras）、コミックMarket Akihabaraなど。
2. ゲーム関連店舗：秋葉原では、ゲームを愛している方にとって、多数のゲームシ
ョップやゲーム開発会社があります。一例として、ソニー・パルク（Sony PARK）、
ビッグ・アドバンス（Big Advance）など。
3. イドルファンclub（Idol Fan Club）：日本のアイドルを愛している方にとって、
秋葉原では、多数のアイドルのファンクラブがあります。一例として、アイドルファ
ンclub AKIHABARA（Idol Fan Club Akihabara）など。
4. マイコン市場（Akihabara Radio Kaikan）：秋葉原では、買い物に行く方が多い
と思う人々にとって、マイコン市場はお勧めです。ここでは、電子部品やマイコン関
連の商品を販売しています。
5. レストラン：秋葉原には、多数のバージョンから選べるレストランがあります。
一例として、中華レストランやイタリアンレストランなど。
6. その他：秋葉原では、アニメ、コミック、ゲームに関連する商品や店舗からはじ
まり、それ以外のビジネスも多数あります。例えば、日本語学校、喫茶店など。

秋葉原は、アニメやコミック、ゲームの迷走地として知られている街区です。趣味が
これらに当たる方におすすめできます。

>>> 日本のコミックについて
日本のコミックは、世界的に有名なもので、日本に特別な文化が存在することから出
来上がったものです。日本のコミックを読む人数は、世界的に多いものです。

1. ジャンル：日本のコミックには、大きく分けて、少年劇場（しょうねいが）、少
女誌（しょうじょぞう）、漫画（まんが）など、多数のジャンルがあります。
2. シリーズ：日本のコミックは、大きくフランチェーズ（フランシュワール）で、
ストーリーを展開していくものから、シリーズ（シーリーズ）であることから分けら
れます。例えば、一部のコミックは、1巻目から始めて、2巻目から始めることができ
るものであるため、シリーズであることが分かります。
3. 作家：日本のコミックには、多数の著名な作家があります。例えば、一部の著名
な作家は、山田慎（山田しん）、原輝太郎（はらきたろう）、宮田健介（みやたけい
く）などです。
4. 出版社：日本のコミックは、多数の出版社から発売されています。例えば、一部
の著名な出版社は、集英社（しゅうえいしゃ）、シンドエ・プレス（しんどうプレス
）、大輪書店（おおはらくどう）などです。
5. 読者：日本のコミックを読む人数は、世界的に多いものです。特に、少年劇場を
愛している男性の方が多いことから、その受験率や好きなジャンルなど、様々な指標
から識別されます。
6. 影映画：日本のコミックにも影映画として疎通していることがあります。例えば
、僕のヒーローアカデミア（Boku no Hero Academia）やドラゴンボール（Dragon 
Ball）などは、コミックから影映画に変化しているものです。

日本のコミックは、世界的に有名なもので、日本に特別な文化が存在することから出
来上がったものです。趣味がこれに当たる方におすすめできます。

>>> /bye

まとめ

ollamaは特に問題もなく動作した。最新版ではないため直近のモデルは試せないが、M4 Macよりも速いレスポンスで動くのは面白い。VRAMが小さくLLMもそれなりのモデルしか動かせないため、大規模モデルを動かせるMacと適所適材で活用することにする。

御精讀ありがたうございました。