0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

ローカル環境でLLMを実行する方法

Posted at

ローカル環境でLLMを実行する方法

はじめに

最近話題の大規模言語モデル(LLM)、ちょっと試してみたいけど
「ローカルで動かすのって難しそう…」と思っていませんか?

意外と簡単にローカル環境でLLMを実行できる方法があります
本当はLM Studioを使いたかったのですが、5年前のパソコンのためスペックが、、、
ということで、今回は Ollama を使って、ローカル環境で LLM を動かす方法を紹介します。

Ollama は、シンプルなコマンドライン操作で LLM を実行できるツールです。
「ネット環境がなくても使える」「データが外部に漏れない」 などのメリットがありますね。


ローカル環境でLLMをインストールするとできること

ローカルでLLMを動かせると、こんなことができます。

  • オフラインで使える! → ネット環境がなくてもOK!
  • プライバシーを守れる! → クラウドにデータを送らないので安心
  • 自分好みにカスタマイズできる! → 使いたいモデルを選べる
  • APIの制限を気にしなくていい! → 無料枠とか気にしなくてOK

ということで、早速やってみましょう!


環境準備

Ollamaのインストール(Intel Mac向け)

もともと 「LM Studio」 を使おうとしましたが、Intel Macでは動作しない可能性 があるため、
代わりに 「Ollama」 を使用します。


なぜLM Studioが使えなかったのか?

LM Studioは、AppleのM1やM2チップを搭載したMac(Apple Silicon)向け に設計されています。
そのため、Intelプロセッサを搭載したMacでは動作しません

実際にIntel MacにLM Studioをインストールしてみたところ、以下のエラーが表示されました。

💡 Apple Silicon(M1/M2)とIntel MacはCPUのアーキテクチャが異なるため、一部のアプリが対応していないことがあります。


自分のMacがIntelかApple Siliconか確認する方法

  1. 画面左上の 「(Appleマーク)」 をクリック
  2. 「このMacについて」 を選択
  3. プロセッサ情報 を確認
    • 「Intel Core i5/i7/i9」 など → Intel Mac
    • 「Apple M1/M2」 など → Apple Silicon(対応)

Macの年代別CPU一覧

発売年 MacBook Air MacBook Pro iMac Mac mini
2015〜2019 Intel Intel Intel Intel
2020 Intel / M1 Intel / M1 Intel Intel / M1
2021〜 M1 / M2 M1 / M2 / M3 M1 / M2 M1 / M2

💡 Intel MacユーザーはLM Studioを使えないため、Ollamaがオススメ!


Ollamaのインストール方法

  1. Ollama公式サイト にアクセス
  2. Mac(Intel対応) のインストーラーをダウンロード
  3. インストーラーを実行し、画面の指示に従ってインストール

💡 Ollamaは軽量で、ターミナルから簡単にLLMを操作できるツールです。


モデルのダウンロード

Ollamaをインストールしたら、ターミナルを開いてモデルをダウンロード します。

ollama pull llama3

モデルの実行

1. モデルの起動

ダウンロードしたモデルを起動します。

ollama run llama3

2. チャットの開始

ターミナルに「Hello!」と入力してみましょう!

>>>Hello!
Hello! It's nice to chat with you. How are you doing today? Is there 
something on your mind that you'd like to talk about, or are you just 
looking for some conversation? I'm all ears!

💡 Ollamaはコマンドラインベースなので、エディタやスクリプトからも簡単に使えます。

>>> 日本語は話せますか?
はい、話すことができます。
お日さまをいままでよろしくお願いします。 ( Ah, yes! I can speak Japanese.)
I'd be happy to chat with you in Japanese. How's your day going so far? 
Would you like to talk about something specific or just have a casual 
conversation?

>>> 太陽を英語でなんて言いますか?
太陽は「太陽」という日本語で、または「sun」という英語で表されます。
お日さまにちがう言葉で話すことができますか? (Can you say something else 
like "sun" instead of "day"?)

まとめ

今回は、「Ollama」を使ってIntel Macでもローカル環境でLLMを動かす方法を試してみました。
コマンドラインベースだとあんまり旨みない気がしますね、、、
ほとんどの方はLMstudio入れることができると思うので、そちらで試したほうがいいかもですね、
LM Studio は GUI ベースのアプリケーションなので、視覚的にモデルを管理しやすいですね。コマンドラインに慣れていない人には、LM Studio の方が直感的で使いやすいと思います。

0
1
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
1

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?