エンタープライズ向けでLLMアプリケーションを構築する時に非常に参考になった記事や書籍をまとめています。
（順次追記）
一応、初めてLLMに触れるよという方向けにおすすめ度（5段階評価）も書いておきます。
雑年表
2024年11月時点までで観測した流れです（肌感）
Microsoftに関連した技術を扱うことが多いので、Microsoft社が発表した流れにこの年表も影響されてると思います。
| 日付 | 概要 |
|---|---|
| 2022年11月 | ChatGPTリリース |
| 2023年初頭 | ChatGPTを利用した生産性向上手法が流行る |
| 2023年1月 | OpenAIがAPIをリリース、エンタープライズビジネスとして応用できるか模索され始める |
| 2023年3月 | GPT4がリリースされる |
| 2023年中旬？ | RAGの構築が流行り始める |
| 2024年5月 | GPT4oがリリース、AOAIでもリリースされエンタープライズも盛り上がる |
| 2024年中旬？ | マルチモーダル、SLMがLLMのトレンドに |
| 2024年中旬 | AOAIのGPT3.5のサポート終了が告知。当時は4oがJapanリージョンになかったので乗り換え先問題になってた気がする |
| 2024年中旬？ | RAGの現実的な課題（精度）が広く認識され始めAdvancedRAGへ |
| 2024年9月 | GPTo1リリース |
| 2024年10月 | LLMアプリケーション開発でマルチエージェント盛り上がり始める |
| 2024年11月 | Microsoft社がMicrosoft Ignite 2024でエージェンティックな世界を提唱 |
全般
ChatGPT - LLMシステム開発大全
LLMシステム構築のための全般的な内容がまとまっています。
2024年11月時点だと少し内容が古いですが、これ一つ読めば
Microsoft社の方が作成されているため、内容はAzureに寄っています。
SierやBtoB向けアプリケーションを構築されてる方には特におすすめです
おすすめ度：★★★★★
Azure OpenAI Serviceではじめる ChatGPT/LLMシステム構築入門
AOAIを使用してアプリケーションを構築する方に非常におすすめです。
AOAIをAPIで使用する方法など基本的な内容が網羅されています。
しかしながら2024年11月時点では古い情報も多いのでこの本一冊では難しいところ
おすすめ度：★★★★☆
LangChainとLangGraphによるRAG・AIエージェント［実践］入門
LangChainの記述方法が細かく解説されてあり、RAGやマルチエージェントで実践にはどうするかが詳細にまとまっています。
エージェントのデザインパターンなど、これから普遍的に使用できそうな情報も解説されているため、
必携と言っても過言ではないと思います。
AOAIについてはほぼ記載されていないので注意。
おすすめ度：★★★★★
プロダクトマネジメント
生成AI時代のプロダクトマネジメント 勝てる事業の原則から戦略、デザイン、成功事例まで
AIを使用したサービスのプロダクトマネジメントについて
LLM問わずMLを組み込むサービスも含めた内容が記載されています。
アプリケーション開発者としては、生成AIアプリのUIUXに言及している章が非常に参考になりました。
LLMアプリケーションのUIUX関しては、いまだチャットでの対話形式が主流なのでどのような手段が最適なのか日々格闘中です。UIUX関連の書籍も出てほしいですね。
おすすめ度：★★☆☆☆
評価
LLMプロダクト開発における独自評価基準とデータセットの作り方の考察
LLMの生成は一定ではなく、揺らぎが存在するため評価は重要です。
ここまでリンクした情報では全体的なプロセスの一部としての記載やRAGに限った方法などが多く、
汎用的な考え方はいまいちピンときていませんでした。
こちらの記事では言語化されたうえでしっかり落とし込まれていてとても参考になりました。
おすすめ度：★★★☆☆（初学者向けではないため）
責任あるAI
AIの倫理 - Responsible AI
AIが生成するコンテンツは時に不適切な内容も出力されるので、責任もって防ぐ必要があります。
また、テクニック的なことよりも組織的にガバナンスを強化するのが一番重要という話
おすすめ度：★★★★☆
AzureOpenAI
リファレンスアーキテクチャー
Prompt Flow
いいのが見つかれば・・・
Semantic Kernel
いいのが見つかれば・・・
おまけ
継続してウォッチしている開発者の方のリンクをまとめています。
seya 様
LLMアプリケーションの評価関連
PharmaX（旧YOJO Technologies）開発チーム 様
全般的な内容
SIOS Tech.Lab 様
全般的な内容
Kazuki Ota 様
AOAIやMicrosoft社のOSS中心