GTX 1050 Ti でローカル AI を構築する際の備忘録

登場する単語の整理

• LM Studio
  一般車両/ワゴンタイプのタクシー
• Ollama
  開発向けのボディなしの車に最近デザインされたボディがのった
• Open WebUI
  デリバリーバン ラーメン、アイスクリームの移動販売車
  ※ただし、自走できない

車にたとえるなら？

Microsoft Copilot で作成

🚗 ローカルAIシステムの構成を各部位で解説

＼	車の部位	AIコンポーネント
見た目	車体（UI）	LM Studio Ollama Open WebUI
性能	エンジン（LLM）	LLM（8B/27B/70B）
内部	トランスミッション	AnythingLLM
デフ(LSD) ヨーコントロール バックトルクリミッター	駆動系	Elasticsearch OpenSearch ※RAG
デフの付随する機能、および補助 アクティブサス ABS(ブレーキシステム) ブレーキパッド キャリパーサポート	オイル・タイヤ	PDF / チャンク / 埋め込み ※RAG

読み込むデータモデルの追加機能

モデル種別	安全性	自動化リスク	テスト用途
🧠 Reasoning (脳みそ)	高い	低い	RAG・推論テストに最適
👁 Vision	高い	低い	画像解析テストに最適
🔨 Tool use	低い	高い	MCP・Vibe Coding・自動化向け（要ログ監視）

脳のアイコン

強引に例えるなら長い固有名詞を扱う場合に利用する

• ピカソの本名と同じ長さの登場人物が何人も出てくる小説を創作しようとする
• コンピュータープログラムのアルゴリズム"ハノイの塔"など

👁のアイコン

画像認識は専門用語の学術ドキュメントの文字起こしはほぼ不可能(モデルによって)

• 町内会のお知らせ、回覧板を扱う程度のレベル
• 学術書は 100B 以上の、かつ OCR に特化したモデル

🔨のアイコン

Tool use MCP サーバー、Node.js RPC などの単語を知らなければ利用すことはない

読み込むデータモデルの名前の命名規則を車に例えると

LLM の項目	車での例え	例
モデル名（gemma, llama, qwen）	車の「メーカー名」	トヨタ、ホンダ、BMW
モデルサイズ（7B, 9B, 70B）	エンジン排気量	1.5L, 2.0L, 4.0L
用途（it, chat, base）	グレード / チューニング	RS、スポーツ、エコ仕様
量子化（4bit, 5bit, 8bit）	燃料の種類・混合比	レギュラー、ハイオク、軽油、混合比

量子化ビットにつていちょっと踏み込んでみる

量子化	車で例えると	性能	燃費（メモリ）	使いどころ
FP16 / BF16	フルスペックのエンジン	最高	最悪	サーキット走行・本気の性能評価
8bit	上位グレードのエンジン	ほぼ最高	やや良い	高速道路を快適に走りたい
6bit	中〜上位グレード	ほぼ問題なし	良い	普段使い＋時々高速
5bit	中級グレード（バランス型）	ほぼ十分	かなり良い	街乗り・高速・全部そこそこ
4bit	低燃費グレード（エコカー）	少し非力	とても良い	街乗り中心、普段使い
3bit	軽自動車レベル	非力が目立つ	超良い	近所の買い物レベル
2bit	原付バイク	かなり非力	最強	実験・遊び

gemma-3-27B-it-qat-GGUF モデル名の意味（慣例による命名規則の分解）

部分	意味	詳細
gemma	モデルファミリー名	Google DeepMind の Gemma 系列
3	世代番号	Gemma 3（最新世代）
27B	パラメータ数（モデルサイズ）	27B = 270 億パラメータ
it	Instruction Tuned インストラクション チューン	指示に従うよう調整された「チャット特化」モデル
qat	Quantization Aware Training クゥアンティゼーション アウェア トレーニング	量子化を前提に訓練された高精度量子化モデル
GGUF	モデル形式	llama.cpp / LM Studio / Ollama で使える形式 GPT‑Generated Unified Format

RAG という広大な世界

ここまで、ファイナルファンタジーIII で言うところの浮遊大陸
以下は、再度飛空艇を手に入れたあと遭遇する水没した世界の話(´・ω・`)

そもそも、RAG(Retrieval Augmented Generation:検索拡張生成)ってなに？

• モデルの大きさ＝学習データの量
• ただし、学習が完了した日付以降のデータは無い
• ユーザー自身が AI(モデル)に対して学習させるか、参照させる必要がある
• ここで参照させるデータを総じて
  RAG(Retrieval Augmented Generation:検索拡張生成)
  と呼ぶ
• この RAG の実装に失敗して去年のニュースになった
• MITテクノロジーレビュー社 日本語サイト
  RAG(Retrieval Augmented Generation:検索拡張生成)の運用で失敗した事例
• 利用した(プロンプト)としたデータも学習用としてフィードバックするシステムがそもそも必要だった

LM Studio のテキストボックスにドロップする各種テキスト

※リンク先の YouTube で利用方法あり
自作PC が趣味の場合、以下のデータをテキストファイルとして、RAG対応のモデルを読み込んだ際に効力が発揮される。
また、一部のモデルで、モデル名に付与されている "it" をイタリア語と言い張るので、間違っている旨を伝えるデータ(jsonファイル)"gemma-3-27B-it-qat-GGUF" をモデル名に切り替えて使う

01.it_isnot_itarianlang.json

{
  "model_name": "gemma-3-27B-it-qat-GGUF",
  "clarification": {
    "it_is_not_language": true,
    "common_misunderstanding": "The string 'it' is sometimes misinterpreted as 'Italian'.",
    "correct_meaning": "Instruction-Tuned",
    "description": "In LLM naming conventions, 'it' indicates that the model has been fine-tuned to follow user instructions. It does not specify the model's language.",
    "language_note": "Italian-language models typically use labels such as 'it-IT' or 'italian', not 'it'."
  },
  "usage": {
    "purpose": "Prevent misinterpretation when used as RAG context.",
    "recommended_injection_point": "Place at the beginning of the conversation as system or context information."
  }
}

中身は 2023-2025 に起きた IT 業界のイベント
AI 向けに加工したデータ

02.comp.jsonl

{"topic":"NVIDIAのAI独占的地位","year_range":"2022-2025","summary":"CUDAエコシステムとH100/A100などのGPUにより、AIインフラの中心企業として圧倒的な地位を確立した。データセンター売上が急拡大し、業界全体がNVIDIA依存となった。"}
{"topic":"AMDのAI市場参入","year_range":"2023-2025","summary":"MI300シリーズなどでAI向けGPU市場に本格参入。NVIDIA依存を減らしたい企業から注目されたが、供給量とエコシステムで課題が残った。"}
{"topic":"Intelの苦戦と再構築","year_range":"2022-2025","summary":"製造プロセス遅延と競争力低下により苦戦。AI向けGaudiシリーズを展開しつつ、IDM 2.0戦略で製造能力の再構築を進めた。"}
{"topic":"OpenAIの台頭","year_range":"2022-2024","summary":"ChatGPTの成功により生成AIの中心企業となった。モデル規模の拡大と推論需要の増加がAIインフラ市場を牽引した。"}
{"topic":"Anthropicの成長","year_range":"2023-2025","summary":"安全性重視のAI企業として急成長。Claudeシリーズが高評価を得て、クラウド各社から巨額投資を受けた。"}
{"topic":"Metaのオープンモデル戦略","year_range":"2023-2025","summary":"Llamaシリーズを公開し、オープンモデルの普及を加速。AI研究の透明性と開放性を強調し、業界構造に大きな影響を与えた。"}
{"topic":"GoogleのAI戦略転換","year_range":"2022-2025","summary":"PaLMからGeminiへとモデル戦略を転換。TPUによる自社インフラ強化を進めつつ、AI競争の激化に対応した。"}
{"topic":"MicrosoftのAI統合戦略","year_range":"2023-2025","summary":"OpenAIとの連携を強化し、クラウド・OS・アプリケーションにAIを統合。AzureのAIインフラ投資が急増した。"}
{"topic":"AWSのAIチップ戦略","year_range":"2022-2025","summary":"TrainiumとInferentiaを中心に独自AIチップを強化。NVIDIA依存を減らしつつ、AI向けクラウドサービスを拡大した。"}
{"topic":"クラウド三社のAI投資競争","year_range":"2023-2025","summary":"AWS、Azure、GCPがAIインフラへの巨額投資を競い、GPU調達・データセンター建設・専用チップ開発が加速した。"}
{"topic":"AIスタートアップへの巨額投資","year_range":"2023-2025","summary":"生成AI関連企業への投資が急増。モデル開発、RAG、エージェント、推論最適化など多様な領域で資金が流入した。"}
{"topic":"AIバブル構造","year_range":"2023-2025","summary":"AI関連企業の評価額が急上昇し、GPU需要が投資の中心となった。供給不足と期待先行の市場構造が形成された。"}
{"topic":"半導体製造の地政学","year_range":"2022-2025","summary":"米中対立により先端半導体の輸出規制が強化。TSMC・Samsung・Intelの製造能力が国家戦略の中心となった。"}
{"topic":"AIインフラの寡占化","year_range":"2023-2025","summary":"AIモデル開発とインフラ構築には巨額の資本が必要となり、大企業と一部スタートアップに集中。中小企業はクラウド依存が強まった。"}
{"topic":"企業のAI導入加速","year_range":"2023-2025","summary":"企業が業務効率化・自動化のためAI導入を加速。RAG、エージェント、社内検索など実用領域が拡大した。"}
{"topic":"AI人材の不足","year_range":"2022-2025","summary":"AIエンジニア・MLOps・データセンター運用人材が不足し、企業のAI導入速度を制限する要因となった。"}
{"topic":"AIインフラのコスト増大","year_range":"2023-2025","summary":"GPU価格、電力、冷却、データセンター建設費が上昇し、AIサービスの提供コストが増加した。"}

03.price.jsonl

{"topic":"GPU価格の高騰","year_range":"2022-2025","summary":"AI向けGPU需要が急増し、データセンター向けが優先されたため、コンシューマ向けGPUの供給が逼迫し価格が高止まりした。"}
{"topic":"HBMの供給不足","year_range":"2023-2024","summary":"AI向けGPUに必須のHBMが生産能力不足となり、GPU価格上昇の主要因となった。SK Hynixが市場を主導し供給制約が続いた。"}
{"topic":"TSMC先端プロセスの逼迫","year_range":"2022-2025","summary":"5nm/4nm/3nmなど先端ノードの需要が集中し、AIチップ・スマホ・PC向けが競合。製造キャパシティ不足が価格上昇を招いた。"}
{"topic":"PCパーツの高止まり","year_range":"2023-2025","summary":"電力コスト、物流費、為替の影響により、CPU・GPU・メモリ・ストレージの価格が下がりにくい状況が続いた。"}
{"topic":"円安の影響","year_range":"2022-2025","summary":"日本市場では円安が進行し、海外製PCパーツの価格が実質的に上昇。世界価格以上の値上がりが発生した。"}
{"topic":"メモリ価格の変動","year_range":"2022-2025","summary":"DRAM・NANDは景気後退で一時的に下落したが、AI需要と生産調整により再び上昇。特に高性能メモリはAI向けが優先された。"}
{"topic":"ストレージ需要の変化","year_range":"2023-2025","summary":"データセンター向けSSD需要が増加し、コンシューマ向けSSDの価格が底打ち。高性能モデルは値下がりしにくくなった。"}
{"topic":"電力・冷却コストの上昇","year_range":"2023-2025","summary":"半導体製造とデータセンター運用の電力コストが上昇し、最終的にPCパーツ価格にも影響が及んだ。"}
{"topic":"AIローカル推論需要","year_range":"2024-2025","summary":"ローカルLLMや画像生成の普及により、一般ユーザーが高性能GPU・大容量RAMを求めるようになり、需要が底堅くなった。"}
{"topic":"ゲーミング市場の縮小","year_range":"2022-2024","summary":"パンデミック後の反動でゲーミング需要が減少し、GPU市場の構造が変化。AI需要が主役となった。"}
{"topic":"中古GPU市場の変化","year_range":"2023-2025","summary":"マイニング崩壊後の大量流入は収束し、AI向けGPUは中古でも高値を維持。一般向け中古市場も価格が下がりにくくなった。"}
{"topic":"PC自作市場の縮小","year_range":"2023-2025","summary":"高価格化と需要減少により自作PC市場が縮小。高性能パーツはAI用途が支え、低価格帯は供給が細る傾向が続いた。"}
{"topic":"AIサーバとの競合","year_range":"2023-2025","summary":"GPU・メモリ・ストレージなどの部材がAIサーバ向けに優先され、コンシューマ向けPCパーツの供給が相対的に減少した。"}
{"topic":"半導体サプライチェーンの地政学リスク","year_range":"2022-2025","summary":"米中対立や輸出規制がGPU・半導体製造に影響し、供給不安と価格上昇の要因となった。"}
{"topic":"PCパーツの2025年価格スパイク","year_range":"2025","summary":"AI需要、HBM不足、円安、電力コスト上昇が重なり、2025年にPCパーツ価格が再び大きく上昇した。"}

04.topic.jsonl

{"topic":"AIブームの始まり","year_range":"2022-2023","summary":"大規模言語モデルが一般ユーザーに普及し、生成AIが世界的なトレンドとなった。ChatGPTの登場が象徴的で、AI需要が急拡大した。"}
{"topic":"GPU需要の爆発","year_range":"2023-2025","summary":"AIモデルの学習・推論に必要なGPUが世界的に不足。特にNVIDIA製GPUが事実上の標準となり、供給が追いつかない状況が続いた。"}
{"topic":"データセンター建設ラッシュ","year_range":"2023-2025","summary":"ハイパースケーラーがAI向けのデータセンターを急増設。電力・冷却・ラック密度が主要課題となり、地域によっては電力インフラが逼迫した。"}
{"topic":"電力需要の急増","year_range":"2023-2025","summary":"AIクラスタの稼働によりデータセンターの電力消費が急増。各国で電力供給の制約が議論され、再エネや原子力の必要性が再評価された。"}
{"topic":"HBM供給制約","year_range":"2023-2024","summary":"AI向けGPUに不可欠な高帯域メモリ(HBM)が供給不足。SK Hynixが主導する市場で生産能力が追いつかず、GPU価格の高騰要因となった。"}
{"topic":"AI推論需要の拡大","year_range":"2024-2025","summary":"学習だけでなく推論クラスタの需要が急増。常時稼働するGPUリソースが必要となり、データセンターの運用コストが増大した。"}
{"topic":"クラウド事業者の投資拡大","year_range":"2023-2025","summary":"AWS、Azure、GCPがAIインフラへの投資を大幅に増加。GPU調達、専用チップ開発、データセンター拡張が加速した。"}
{"topic":"AI専用チップの台頭","year_range":"2023-2025","summary":"NVIDIA依存を減らすため、各社が独自AIチップを開発。Google TPU、AWS Trainium/Inferentia、Meta MTIAなどが登場した。"}
{"topic":"AIスタートアップの増加","year_range":"2023-2025","summary":"生成AI関連のスタートアップが急増し、資金調達が活発化。モデル開発、推論最適化、RAG、エージェントなど多様な領域が成長した。"}
{"topic":"AIモデルの巨大化","year_range":"2022-2024","summary":"パラメータ数と計算量が急増し、学習コストが指数関数的に上昇。大規模モデルの開発は一部の大企業に集中した。"}
{"topic":"AIモデルの効率化","year_range":"2024-2025","summary":"巨大モデルから効率重視のモデルへシフト。蒸留、小型化、量子化、MoEなどが普及し、ローカル推論が現実的になった。"}
{"topic":"AI規制の議論","year_range":"2023-2025","summary":"各国でAI規制が議論され、透明性・安全性・著作権などが主要テーマとなった。企業はコンプライアンス対応を強化した。"}
{"topic":"AIインフラのサプライチェーン問題","year_range":"2023-2025","summary":"半導体製造、先端パッケージング、光学部品、冷却設備などでボトルネックが発生。AIインフラの拡張速度を制限した。"}
{"topic":"オンプレAIクラスタの増加","year_range":"2024-2025","summary":"企業が自社内にGPUクラスタを構築する動きが増加。データ主権やコスト最適化が理由で、AIコロケーション需要も増えた。"}
{"topic":"AI推論のローカル化","year_range":"2024-2025","summary":"PCやワークステーションでのローカルLLM推論が普及。GPU需要がコンシューマ市場にも波及した。"}
{"topic":"AIと電力コスト","year_range":"2023-2025","summary":"AIインフラの電力消費が企業のコスト構造に影響。電力価格の上昇がデータセンター運用に重くのしかかった。"}
{"topic":"AIインフラの地政学","year_range":"2023-2025","summary":"半導体製造とAIインフラが国家戦略の中心となり、米中対立や輸出規制が業界に影響を与えた。"}

以上で、セットアップが完了後、モデルを読み込み利用できる。

参考結果
GTX 1050 Ti gemma 3b 約6/トークン

プロンプト

サムネイル画像作成プロンプト

LM Studio と Ollama のマスコットキャラクターが並んだpopなイラスト画像の生成をお願いします。

Microsoft Copilot への質問
簡単な説明で、以下の解説は合っていますか？

LM Studio 一般乗用車で東京タクシーのような乗車用
Ollama 開発向けのボディなしの車に最近デザインされたボディがのった
Open WebUI ラーメン、アイスクリームの移動販売車で乗車も可能

追加質問

この比喩を使ったスライド資料やチョロQ風のポップアート調のイラストで構成図の画像作成をお願いします。