2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

IBM Cloud: Ollama + NVIDIA A100 のローカルLLM環境(CLI)で gpt-oss を試す

Last updated at Posted at 2025-08-27

1. はじめに

いくらセキュリティー的に問題がないと言われていても、ブラックボックスになっているSaaSを使うのはやはり怖い、などの理由で自分だけのAIをローカルで動かしたいという要件はあるものです。
今回は、Open AIから最近リリースされたgpt-ossをIBM Cloud上のVSIで試したいと思います。

前回は、GUI機能が充実している LM Studio をWindows Server上で試しましたが、今回は CLIベースで動かすことが想定されている Ollama を利用します。Ollamaは ollama run llama2 のように、コマンド一発でモデルの取得と実行が可能で、外部からのAPI呼び出しにも対応しているため、Linux環境などでのホスティングに適しています。さらに、Ollama本体はMITライセンスのオープンソースであり、コードの透明性も確保されています。UIは標準では付属していませんが、Open WebUI などと組み合わせることで、ブラウザ経由での利用も可能です。

image.png

2. 環境の確認とDriverのインストール

インストール手順はこちらを参考にしました。

モジュールの最新化
[root@syasuda-ollama ~]# dnf -y update
[root@syasuda-ollama ~]# reboot
環境の確認
[root@syasuda-ollama ~]# cat /etc/redhat-release
Red Hat Enterprise Linux release 9.6 (Plow)

[root@syasuda-ollama ~]# uname -a
Linux syasuda-ollama 5.14.0-570.37.1.el9_6.x86_64 #1 SMP PREEMPT_DYNAMIC Sat Aug 16 01:10:00 EDT 2025 x86_64 x86_64 x86_64 GNU/Linux

[root@syasuda-ollama ~]# hostnamectl
 Static hostname: syasuda-ollama
       Icon name: computer-vm
         Chassis: vm 🖴
      Machine ID: 09f2d8a3f371b99ff6e334c58749ec98
         Boot ID: 4032088c354a49efb3481bd2e061d564
  Virtualization: kvm
Operating System: Red Hat Enterprise Linux 9.6 (Plow)
     CPE OS Name: cpe:/o:redhat:enterprise_linux:9::baseos
          Kernel: Linux 5.14.0-570.37.1.el9_6.x86_64
    Architecture: x86-64
 Hardware Vendor: QEMU
  Hardware Model: Standard PC _i440FX + PIIX, 1996_
Firmware Version: 1.15.0-1

[root@syasuda-ollama ~]# lspci | grep -e VGA -e NVIDIA
00:02.0 VGA compatible controller: Cirrus Logic GD 5446
04:01.0 3D controller: NVIDIA Corporation GA100 [A100 PCIe 80GB] (rev a1)
現行のrepositoryの確認
[root@syasuda-ollama ~]# yum repolist all
Updating Subscription Management repositories.

This system has release set to 9.6 and it receives updates only for this release.

repo id                                                                      repo name                                                                                                              status
codeready-builder-for-rhel-9-x86_64-eus-rpms                                 Red Hat CodeReady Linux Builder for RHEL 9 x86_64 - Extended Update Support (RPMs)                                     disabled
codeready-builder-for-rhel-9-x86_64-rpms                                     Red Hat CodeReady Linux Builder for RHEL 9 x86_64 (RPMs)                                                               disabled
rhel-9-for-x86_64-appstream-eus-rpms                                         Red Hat Enterprise Linux 9 for x86_64 - AppStream - Extended Update Support (RPMs)                                     enabled
rhel-9-for-x86_64-appstream-rpms                                             Red Hat Enterprise Linux 9 for x86_64 - AppStream (RPMs)                                                               enabled
rhel-9-for-x86_64-baseos-eus-rpms                                            Red Hat Enterprise Linux 9 for x86_64 - BaseOS - Extended Update Support (RPMs)                                        enabled
rhel-9-for-x86_64-baseos-rpms                                                Red Hat Enterprise Linux 9 for x86_64 - BaseOS (RPMs)                                                                  enabled
rhel-9-for-x86_64-supplementary-eus-rpms                                     Red Hat Enterprise Linux 9 for x86_64 - Supplementary - Extended Update Support (RPMs)                                 enabled
rhel-9-for-x86_64-supplementary-rpms                                         Red Hat Enterprise Linux 9 for x86_64 - Supplementary (RPMs)                                                           enabled
repositoryの追加設定
[root@syasuda-ollama ~]# export distro=rhel9
[root@syasuda-ollama ~]# export arch=x86_64


[root@syasuda-ollama ~]# subscription-manager repos --enable=rhel-9-for-$arch-appstream-rpms
[root@syasuda-ollama ~]# subscription-manager repos --enable=rhel-9-for-$arch-baseos-rpms
[root@syasuda-ollama ~]# subscription-manager repos --enable=codeready-builder-for-rhel-9-$arch-rpms
[root@syasuda-ollama ~]# dnf install -y https://dl.fedoraproject.org/pub/epel/epel-release-latest-9.noarch.rpm
[root@syasuda-ollama ~]# dnf config-manager --add-repo https://developer.download.nvidia.com/compute/cuda/repos/$distro/$arch/cuda-$distro.repo
[root@syasuda-ollama ~]# dnf clean expire-cache


[root@syasuda-ollama ~]# yum repolist all
Updating Subscription Management repositories.

This system has release set to 9.6 and it receives updates only for this release.

repo id                                                                      repo name                                                                                                              status
codeready-builder-for-rhel-9-x86_64-eus-rpms                                 Red Hat CodeReady Linux Builder for RHEL 9 x86_64 - Extended Update Support (RPMs)                                     disabled
codeready-builder-for-rhel-9-x86_64-rpms                                     Red Hat CodeReady Linux Builder for RHEL 9 x86_64 (RPMs)                                                               enabled
cuda-rhel9-x86_64                                                            cuda-rhel9-x86_64                                                                                                      enabled
epel                                                                         Extra Packages for Enterprise Linux 9 - x86_64                                                                         enabled
epel-cisco-openh264                                                          Extra Packages for Enterprise Linux 9 openh264 (From Cisco) - x86_64                                                   enabled
epel-cisco-openh264-debuginfo                                                Extra Packages for Enterprise Linux 9 openh264 (From Cisco) - x86_64 - Debug                                           disabled
epel-cisco-openh264-source                                                   Extra Packages for Enterprise Linux 9 openh264 (From Cisco) - x86_64 - Source                                          disabled
epel-debuginfo                                                               Extra Packages for Enterprise Linux 9 - x86_64 - Debug                                                                 disabled
epel-source                                                                  Extra Packages for Enterprise Linux 9 - x86_64 - Source                                                                disabled
epel-testing                                                                 Extra Packages for Enterprise Linux 9 - Testing - x86_64                                                               disabled
epel-testing-debuginfo                                                       Extra Packages for Enterprise Linux 9 - Testing - x86_64 - Debug                                                       disabled
epel-testing-source                                                          Extra Packages for Enterprise Linux 9 - Testing - x86_64 - Source                                                      disabled
rhel-9-for-x86_64-appstream-eus-rpms                                         Red Hat Enterprise Linux 9 for x86_64 - AppStream - Extended Update Support (RPMs)                                     enabled
rhel-9-for-x86_64-appstream-rpms                                             Red Hat Enterprise Linux 9 for x86_64 - AppStream (RPMs)                                                               enabled
rhel-9-for-x86_64-baseos-eus-rpms                                            Red Hat Enterprise Linux 9 for x86_64 - BaseOS - Extended Update Support (RPMs)                                        enabled
rhel-9-for-x86_64-baseos-rpms                                                Red Hat Enterprise Linux 9 for x86_64 - BaseOS (RPMs)                                                                  enabled
rhel-9-for-x86_64-supplementary-eus-rpms                                     Red Hat Enterprise Linux 9 for x86_64 - Supplementary - Extended Update Support (RPMs)                                 enabled
rhel-9-for-x86_64-supplementary-rpms                                         Red Hat Enterprise Linux 9 for x86_64 - Supplementary (RPMs)                                                           enabled
Driverのインストール
[root@syasuda-ollama ~]# dnf -y module install nvidia-driver:latest-dkms
[root@syasuda-ollama ~]# reboot
GPUの確認。NVIDIA A100 80GB PCIeが認識されている。
[root@syasuda-ollama ~]# nvidia-smi
Wed Aug 27 00:05:31 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.65.06              Driver Version: 580.65.06      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A100 80GB PCIe          Off |   00000000:04:01.0 Off |                    0 |
| N/A   42C    P0             48W /  300W |       0MiB /  81920MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|  No running processes found                                                             |
+-----------------------------------------------------------------------------------------+
モニタリング目的で、nvtopもインストールしておく
[root@syasuda-ollama ~]# dnf install -y nvtop

  • nvtopの実行例 image.png

3. Ollamaのインストール

[root@syasuda-ollama ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
######################################################################## 100.0%
>>> Creating ollama user...
>>> Adding ollama user to render group...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service.
>>> NVIDIA GPU installed.

[root@syasuda-ollama ~]# ollama --version
ollama version is 0.11.7

[root@syasuda-ollama ~]# ollama list
NAME    ID    SIZE    MODIFIED

4. Ollama + gpt-oss:20bのテスト

gpt-oss:20bをダウンロード
[root@syasuda-ollama ~]# ollama pull gpt-oss:20b
pulling manifest
pulling b112e727c6f1: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  13 GB
pulling fa6710a93d78: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏ 7.2 KB
pulling f60356777647: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  11 KB
pulling d8ba2f9a17b3: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏   18 B
pulling 55c108d8e936: 100% ▕██████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████████▏  489 B
verifying sha256 digest
writing manifest
success

[root@syasuda-ollama ~]# ls -l /usr/share/ollama/.ollama/models/blobs/
total 13457216
-rw-r--r--. 1 ollama ollama         489 Aug 27 00:17 sha256-55c108d8e93662a22dcbed5acaa0374c7d740c6aa4e8b7eee7ae77ed7dc72a25
-rw-r--r--. 1 ollama ollama 13780154624 Aug 27 00:17 sha256-b112e727c6f18875636c56a779790a590d705aec9e1c0eb5a97d51fc2a778583
-rw-r--r--. 1 ollama ollama          18 Aug 27 00:17 sha256-d8ba2f9a17b3bbdeb5690efaa409b3fcb0b56296a777c7a69c78aa33bbddf182
-rw-r--r--. 1 ollama ollama       11353 Aug 27 00:17 sha256-f60356777647e927149cbd4c0ec1314a90caba9400ad205ddc4ce47ed001c2d6
-rw-r--r--. 1 ollama ollama        7240 Aug 27 00:17 sha256-fa6710a93d78da62641e192361344be7a8c0a1c3737f139cf89f20ce1626b99c
gpt-oss-20bを実行
[root@syasuda-ollama ~]# ollama run gpt-oss:20b
>>> IBM Cloudとはどんなクラウドですか?
Thinking...
The user asks: "IBM Cloudとはどんなクラウドですか?" They want an explanation of IBM Cloud. We should give a concise overview: IBM Cloud is IBM's public cloud platform, offers IaaS, PaaS, SaaS,
includes compute, storage, networking, AI, blockchain, analytics, hybrid cloud solutions, integration with IBM Watson, OpenShift, Kubernetes, Cloud Pak, IBM Cloud Functions, etc. It's known for
enterprise focus, security, compliance, hybrid cloud, integration with IBM's on-prem solutions, IBM Cloud Pak. IBM Cloud is also a major provider of container orchestration, supports Kubernetes and
Red Hat OpenShift, offers AI services like Watson, IBM Cloud Pak for Data, IBM Cloud Pak for Integration, and specialized services for blockchain, quantum, etc. It supports multiple deployment
models: public, private, hybrid, multi-cloud. IBM Cloud offers IBM Cloud Functions (serverless), IBM Cloud Object Storage, IBM Cloud Databases, IBM Cloud Monitoring, IBM Cloud App ID, etc. It's
integrated with IBM's AI, data analytics, security services.

We can mention IBM Cloud vs. other clouds, IBM's focus on enterprise workloads, strong compliance and governance. IBM Cloud supports OpenShift-based PaaS and containers. IBM Cloud has IBM Cloud
Kubernetes Service, IBM Cloud Functions (OpenWhisk), IBM Cloud Object Storage, IBM Cloud Databases. IBM Cloud also has IBM Cloud Pak, built on Red Hat OpenShift. IBM Cloud offers the IBM Watson AI
platform.

The answer should be in Japanese, as the question is in Japanese. Provide clear structure: introduction, key services, strengths, use cases, and conclusion. Let's do that.
...done thinking.

## IBM Cloud とは

IBM Cloudは、**IBM が提供するエンタープライズ向けの統合型クラウドプラットフォーム**です。
「IaaS(インフラストラクチャ・アズ・ア・サービス)」「PaaS(プラットフォーム・アズ・ア・サービス)」「SaaS(ソフトウェア・アズ・ア・サービス)」の三層を網羅し、オンプレミスとクラウドをシームレスに統合
できる **ハイブリッド/マルチクラウド** ソリューションを実現します。

---

### 1. 主要なサービスカテゴリ

| カテゴリ | 主なサービス例 | 特徴 |
|----------|----------------|------|
| **Compute** | IBM Cloud Virtual Servers, Bare Metal, IBM Cloud Kubernetes Service, IBM Cloud Functions(サーバレス) | スケーラブルなコンピューティング、Kubernetes/ OpenShift ベースのコンテナ管理
|
| **Storage** | IBM Cloud Object Storage, File Storage, Block Storage | 大容量、耐久性、低レイテンシ、データ暗号化 |
| **Database** | IBM Cloud Databases (PostgreSQL, MongoDB, Redis, etc.) | マネージドデータベース、スケーラビリティ・高可用性 |
| **AI & Analytics** | IBM Watson, IBM Cloud Pak for Data | 画像・音声認識、自然言語処理、データサイエンス、ML Ops |
| **Security & Governance** | IBM Cloud Security, IBM Cloud Pak for Security | IAM、暗号化、脅威検知、コンプライアンス管理 |
| **Integration** | IBM Cloud Pak for Integration, IBM API Connect | API管理、マイクロサービス統合、メッセージング |
| **Blockchain** | IBM Blockchain Platform | 企業向けブロックチェーンネットワーク構築 |
| **Quantum** | IBM Quantum Experience (IBM Cloud Quantum) | クラウドベースの量子コンピューティングアクセス |
| **DevOps** | IBM Cloud Continuous Delivery, Git, Jenkins, OpenShift Pipelines | CI/CD、GitOps、パイプライン自動化 |
| **Networking** | IBM Cloud VPC, Load Balancer, CDN | 仮想プライベートクラウド、グローバルロードバランシング |

---

### 2. ハイブリッドクラウドを支える技術

* **IBM Cloud Pak**
  - Red Hat OpenShiftを基盤にしたコンテナ化プラットフォーム。
  - データ、AI、アプリケーション、統合、セキュリティなどの各領域に特化したパッケージ化ソリューション。
  - 既存のオンプレミス環境と簡単に連携できる。

* **IBM Cloud Connect**
  - 既存の企業ネットワークとクラウドをVPNやDirect Linkで高速かつ安全に接続。

* **マルチクラウド戦略**
  - 他社クラウド(AWS、Azure、Google Cloud)とも統合管理できるため、ワークロードを最適に配置。

---

### 3. エンタープライズで選ばれる理由

| ポイント | 具体例 |
|----------|--------|
| **セキュリティ・コンプライアンス** | ISO 27001、SOC 2、GDPR、HIPAA などの国際規格に準拠。 |
| **データ保護** | データセンターは 20+ 国に分散、物理的・論理的な二重保護。 |
| **AI・データサイエンス** | Watson で高度な自然言語処理や画像解析をすぐに使える。 |
| **大規模インフラ** | Bare Metal・仮想サーバーで 10億ドル規模のマルチテナント。 |
| **統合性** | IBM の既存製品(DB2, WebSphere, Cognos など)とネイティブに統合。 |
| **パートナーエコシステム** | Accenture、Capgemini、TCS などのシステムインテグレーターと協業。 |

---

### 4. 典型的なユースケース

| 業界 | 具体的な利用例 |
|------|---------------|
| **金融** | 銀行のコアバンキングシステムをクラウドへ移行、AML/KYC分析に Watson を使用 |
| **ヘルスケア** | 患者データ管理、臨床試験データ解析、画像診断(Watson Visual Recognition) |
| **製造業** | IoT データのリアルタイム分析、Predictive Maintenance(AI) |
| **小売** | マルチチャネル統合、在庫最適化、顧客行動予測 |
| **政府** | 公共サービスのデジタルトランスフォーメーション、セキュリティ監視 |

---

### 5. まとめ

- **エンタープライズ向け総合クラウド**:IaaS・PaaS・SaaSを統合、ハイブリッド・マルチクラウドを前提に設計。
- **IBM Cloud Pak** がポイント:OpenShift ベースでコンテナ化されたサービスを簡単に導入。
- **AI・データ** に強み:Watson とデータプラットフォームが付帯。
- **セキュリティとコンプライアンス**:エンタープライズレベルの安全性を備える。

企業が既存のオンプレミスをクラウドへ移行する際、もしくはクラウドとオンプレミスを組み合わせて運用したい場合に、IBM Cloudは **「安全・信頼・統合」** を実現する選択肢として注目されています。

GPU上にモデルがロードされていることを確認
[root@syasuda-ollama ~]# ollama ps
NAME           ID              SIZE     PROCESSOR    CONTEXT    UNTIL
gpt-oss:20b    aa4295ac10c3    14 GB    100% GPU     8192       3 minutes from now


[root@syasuda-ollama ~]# nvidia-smi
Wed Aug 27 00:22:56 2025
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.65.06              Driver Version: 580.65.06      CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA A100 80GB PCIe          Off |   00000000:04:01.0 Off |                    0 |
| N/A   47C    P0             73W /  300W |   13971MiB /  81920MiB |      0%      Default |
|                                         |                        |             Disabled |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A            2835      C   /usr/local/bin/ollama                 13962MiB |
+-----------------------------------------------------------------------------------------+


実行中のGPU使用率(nvtopを利用)
image.png

実行中のモデルの終了
>>> (Ctrl + D)でターミナルに戻る。
[root@syasuda-ollama ~]# ollama stop gpt-oss:20b
2
0
2

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?