社内AI導入の失敗

1. 発端

• 4月頃、会社の目標管理に軽い気持ちで流行りだからとAIを描いたのが問題の始まり。
• 上司に逐一報告するため、いろいろな目線でAI導入のシナリオを書いた。
• そうしたら上司から「設備投資の余りでAI用パソコン買うよ!」
• 自分：「え？・・・(そのパソコン俺が使うの?)」

2. 問題点

AI-PC導入に当たり問題点を列挙（逃げ口実とも言う）

• 社内のネットワークがクローズドネットワークでインストール環境が無い
  • ポケットWi‑Fi借りるからOK
• 親会社に派遣で出てて、事務所に居ない
  • 別件でPM3時以降は派遣停止するから、事務所に来てね
• AI-PC導入で発表とか嫌だ
  • 目標管理や改善提案程度で済ますから問題なし
  • うん、逃げ道全部埋められた。

3. セットアップ

• 派遣停止から3ヶ月経過、来るべきAI-PCが納入されず。（11月半ば）
• 派遣停止リミットまであと半月って所でAI-PCが納入された。
• 早速セットアップ。
  • OSはWindowsのまま行く（Windows消すの勿体ない。会社でLinux落とすのめんどくさい）
  • Ollama、Python3.12、OpenWebUIをインストール（特に問題なし）
  • LLMはGPT‑OSS:20Bに決定。ダウンロード中にポケットWi‑Fiの通信料制限に引っかかる。
  • とりあえず、インストール上で動作確認→OK
  • 他のPCからも見れる事を確認→OK
• この間、二日（3時間）

4. 上司に報告（さらに上へ）

• 上司に基本機能をインストール完了したことを説明
• 更に上（課長）へ報告。
  • 上司曰く何ができるの？ → そこから説明かよ
  • 資料を作って基本的な説明を実施。
    • 「社内の情報は知らない訳だ」
    • 「そうです。RAGを使えば可能です」
    • 「RAGとは？」
      • TXTやPDFを読み込ませて、拡張検索できる機能です」
    • 「じゃあ、社内の情報を読み込ませれば、答えを返してくれる訳？」 → 「YES」
  • OpenWebUIのRAG機能をデフォルトのまま社内の資料（PowerPoint→PDF変換）を読み込ませてデモを実施した結果、さっぱり検索に引っかからない。「ダメじゃん」
• 三日目終了（9時間）

5. さらなる深みへ

• 色々なサイトでRAGについて調べてみる

  • RAG用のモデルを変える
  • チャンクサイズ・チャンクのオーバーラップを変える
  • フルコンテキストモードにする
  • 流し込む資料を奇麗なフォーマットにする
  • ツールを使って云々 …etc

• 再度、レビュー…やっぱりダメ

• 課長曰く（以下課長）「AIさなえちゃんみたいになるのかと思った」

• 自分「（ちっとは調べてきたか）ローカルLLMとクラウドLLMを比べられても、無理」

• 課長「東大生が一から作ったって書いて有ったよ、一緒だよ」

• 自分「（スマホで検索）作ったのはDIFYの所で（バックの）LLMはクラウドじゃないですか」

• 課長「やってる事は一緒で、出来るでしょ？」

• 自分「数百億（円かドルか？）のシステムとPC1台と一緒にすんな」

• 課長「なーんだ、出来ないんだ」

• 続く、かもしれない。