ユーザー質問：　GPUとして、GeforceのRTXに比べて、GTXシリーズはLLM活用において不利な点がある、と効いたことがあります。具体的にどのような場面でGTXが使えないのでしょうか。

以下、GPT-5.5回答。（2026年4月27日時点）

結論から言うと、GTX が「LLMに全く使えない」わけではありません。Ollama / llama.cpp 系で、量子化済みモデルをローカルで1人が使う用途なら、VRAMとCUDA世代が足りれば動きます。
ただし、RTXに比べて「高速化ライブラリや学習・本番サービングで弾かれる」場面がかなりあります。

GTXが厳しい場面

Ollamaでも古すぎるGTXはGPU利用不可
OllamaはNVIDIA GPUについて compute capability 5.0+ と新しめのドライバを要求しています。GTX 750 / 900 / 10 / 16系なら対象に入ることがありますが、GTX 600系や古い700系などは外れやすいです。
参考: Ollama GPU support
vLLMのような高速サービング基盤が使えないことがある
最新のvLLMはNVIDIA CUDAで compute capability 7.5+ を要求しています。GTX 1080 / 1070 / 1060などのPascal世代はCC 6.1なので不可です。GTX 16系はCC 7.5相当のものがありますが、Tensor Coreがないため速度面ではRTXとは別物です。
参考: vLLM GPU requirements
FlashAttention-2 / BF16前提のモデルや学習設定で詰まる
FlashAttention-2のCUDA版は主にAmpere / Ada / Hopper、つまりRTX 30以降やA100/H100系が中心です。Turingは別実装で機能サブセット扱い、BF16もAmpere以降が前提です。attn_implementation="flash_attention_2" や bf16=True のレシピでエラーになる典型例です。
参考: FlashAttention README
TensorRT-LLMのような本番向け最適化が対象外
TensorRT-LLMのサポート対象はBlackwell / Hopper / Ada / Ampereなどで、GTX 10系やGTX 16系は基本的に開発・検証対象外です。高スループットなAPIサーバ用途ではここが大きいです。
参考: TensorRT-LLM support matrix
bitsandbytesの一部量子化機能が使えない
現行bitsandbytesはCUDAでCC 6.0+を要求し、LLM.int8() はCC 7.5+です。つまりGTX 10系は4bit/NF4系は動く可能性がありますが、LLM.int8() は不可。GTX 900系は現行構成では厳しめです。
参考: bitsandbytes installation

ざっくり世代感で言うと:

GPU	LLM用途での見え方
GTX 900 / 750	Ollamaなら一部可。ただし現代的なPyTorch/高速化ライブラリは厳しい
GTX 10系	Ollamaは可。vLLM不可、Tensor Coreなし、学習・高速推論は弱い
GTX 16系	CC条件は通る場面あり。ただしTensor Coreなし、BF16/FlashAttention系は弱い
RTX 20系	Tensor Coreあり。vLLM可。ただしBF16/最新最適化はRTX 30以降に劣る
RTX 30/40/50系	LLM用途ではかなり扱いやすい。BF16、FlashAttention、各種量子化・高速サービングに乗りやすい

なので、LiteLLM + Ollamaで「ローカルLLMを軽く使う」ならGTXでも成立します。
一方で「vLLMでOpenAI互換サーバを高速に立てる」「LoRA/QLoRAを安定して回す」「FlashAttention/BF16前提のモデルを触る」「TensorRT-LLMで最適化する」あたりから、GTXは使えない、またはかなり苦しい場面が増えます。