🌏 実務で差がつく3スキル
-
軽量化と最適化（Pi, Jetson, Hailoで動かせる）
-
RAGとLoRAで自社データ特化
-
LLMを組み込んだIoT/自動化パイプライン構築
“LLMを使いこなして現場で結果を出す力” にフォーカス
第1フェーズ：基礎理解と実験
目的：TransformerとLLMの構造を“感覚で”つかむ
分野 やること 具体例
- Transformer構造理解 注意機構・埋め込み・位置エンコーディング YouTube: "The Annotated Transformer" を写経して理解
- 小型モデルで遊ぶ DistilBERT / TinyLlama / Phi-3-mini をローカル実行 transformers + pipeline() でテキスト分類・要約
- 推論環境理解 ONNX Runtime / llama.cpp / Ollama Pi・JetsonでのLLM軽量化と最適化実験
📍 ゴール：「Transformerがなにをしてるか説明できる」「ONNXモデルを動かせる」
第2フェーズ：応用とプロダクト化
目的：既存モデルを“自分の領域に合わせて使う”
分野 やること 具体例
- RAG (Retrieval-Augmented Generation) 独自データでチャットQ&A Bedrock Knowledge Base / LangChain + OpenSearch / FAISS
- LoRA / QLoRA微調整 ドメイン特化の再学習 Alpacaデータで指示調整、Phi-3-mini + LoRA など
- プロンプト最適化 System Prompt設計、few-shot 「回答トーン」「抽出精度」を調整する技術
- 評価・デプロイ FastAPI + Lambda + API Gateway LLMをAPI化してWebやアプリに組み込み
- 軽量化・量子化 bitsandbytes / GPTQ / gguf モデルをPiやJetsonで動かす最適化技術
📍 ゴール：「自社データを活かした専用AIを作れる」「軽量モデルを最適化できる」
第3フェーズ：統合とシステム構築
目的：LLMを業務システム・IoTと結びつける
分野 やること 具体例
- AI × IoT / エッジAI ラズパイ＋カメラ＋音声＋LLM OpenCV + YOLO + CLIP + Phi-3-mini で熊検知＋音声通報
- AIエージェント構築 ツール呼び出し＋メモリ管理 LangGraph, CrewAI, AutoGPT, Semantic Kernel
- API統合 AWS Bedrock / OpenAI / Anthropic API 各モデルのAPI制御、fallback戦略
- 監視・継続学習 ログ→再学習→改善 S3＋Lambda＋Athena＋CloudWatchで自動監視
UI/UX実装 React/Flutter＋LLM チャットUI, 要約ビューア, IoTダッシュボードなど
📍 ゴール：「AI＋IoT＋LLMの統合プロトを一人で回せる」
第4フェーズ：発展（差別化・研究寄り）
目的：LLMを「使う」から「拡張する」へ
分野 やること 具体例
- 新構造研究 Mamba, RWKV, Hyenaなど Transformerを超える構造を検証
- 分散・効率化 MoE, FlashAttention, quantization-aware training コストと精度の両立技術
- マルチモーダル化 画像・音声・動画統合 Whisper + BLIP + Llama3-Vision の融合
- 社会実装と倫理 データ利用・バイアス対策 プロンプトガード・モデル安全性テスト
📍 ゴール：「LLMの限界を理解し、自分で改善点を提案できる」