オンプレのAIチャットWebアプリ構築の時に気づいたこと

背景

• GPU付きのパソコンでUbuntuをインストールしてopen-webuiを構築してみた

• GPUもあるので、オープンソース最強（かも）と言われるgemma3:27bもollamaを通じて使ってみた

理由

• セキュリティ・コスト・レイテンシーの関係で、クラウドではなくローカルで構築することを選択した
  • ただし、パソコンは1台だけなので、冗長化は持たない（オンプレの欠点）
    　
• ほとんどのユーザーはエンジニアではないので、APIの提供より、GUIがあるWebアプリの方が使いやすい

気づいたこと

環境構築

• Ubuntuはやはり楽、ドライバーのインストール全く詰まったことがない
  　
• Dockerの構築は、公式のDocに従って、sudoでインストールして、その後にユーザーをグループに追加するのはベストプラクティスらしい
  　
• ollamaとopen-webuiもDockerにした方が良い
  • OS環境がグチャグチャにならない
    　
• ollamaのエンドポイント（ポート11434）を直接ユーザーに開放したくない場合は、ポートのアクセス制御が必要

open-webuiのセットアップ

　

• ollamaからOpenAIとの連携は少し難しくて、ただしたまに強いモデルも使いたい時がある、その場合はopen-webuiの方で直接OpenAI連携できるのはありがたい
  　
• open-webuiだけではなくて最近のAIアプリもユーザー・グループ・権限管理の機能が完璧しすぎて企業での導入も非常に楽

使用感

• ローカルでgemma3:27bだけど、それでもo1, Claude 3.7 Sonnetと格段的な性能差があるので、AIがそこまで詳しくないユーザーへの期待コントロールが必要、ただしローカルだと本当に相当早い
  　
• Pythonスクリプトで書いたツールを外部との連携ができるけど、複雑なユースケースだとツールには向いていない、例えばBigQueryのテーブルをクエリしたくて、テーブル一覧を取得・カラムとスキーマを取得・クエリの3ステップが必要、このようなユースケースを見ると、エージェントとMCPは圧倒的に便利