はじめに
技術書典のオンラインマーケットでLLMオブザーバビリティに関する良書に出会えたので、紹介したくなり記事にまとめました。
私ごとですが技術書が好きなので、いつかリアルでも参加してみたいです。
本書の概要
LLMアプリケーションを作っていると、AIの回答精度が気になったりすることありませんか？私は社内ナレッジを回答するRAGを内製していますが気になります。
プロンプトを改善すべきなのか？ドキュメントを最適化すべきなのか、モデルを変更すべきなのか。
そんな課題に対して、LLMアプリケーションを監視することでアプリケーションを最適化しユーザービリティを向上しましょう。その方法を伝授するよ。というのがこの書籍です。
具体的にLangfuseによるLLMオブザーバビリティが学べ、ツールの使用方法や活用方法が紹介されています。
なんと‼️ハンズオンまでついていてDockerで手軽に環境構築できるなど、いたせり尽せりです。
本書の構成
全5章の構成となっており、前半がLLMやツールの用語や概要を復習。後半がハンズオンになっています。
第１章 本書を読むための基礎知識
プロンプトエンジニアリングをはじめとした、LLMの用語説明などの記載があります。詳細を確認するためにリンクやドキュメント、論文の紹介など丁寧にまとめられており、わかりやすいです。
LLMだけでなくオブザーバビリティに関する用語の説明もきっちりまとめられています。（すばらしいな）
第２章 LLMオブザーバビリティ
LLMオブザーバビリティの概要。重要性などを学べます。なぜLLMオブザーバビリティが必要なのかという背景やLLMオブザーバビリティをシステムやコストなど開発における様々な観点で記されており、丁寧で非常にわかりやすです。
第３章 LangChainことはじめ
LangChainの概要やよく使う関数が紹介されていて、サンプルコードもあります。開発がメインの書籍ではないですが、十分すぎるほど丁寧にまとめられており、よく読むとマニアックなことも書かれています。
第４章 LLMエンジニアリングプラットフォーム - Langfuse
Langfuseを利用したLLMオブザーバビリティについて学べます。概要から細かい機能まで紹介されていて、もちろんサンプルコードベースです。
第５章 LLMオブザーバビリティを体験しよう
ついにハンズオンです。いくつかのシナリオにそったLLMオブザーバービリティを体験できます。これはもう体験するしかないですね🚀
まとめ
私自身、普通のアプリを開発している時以上に、LLMアプリを開発していると監視の重要性や必要性を感じます。
LLMオブザーバービリティはまだ確立された技術ではないと思いますが、実践で試したくなることが盛りだくさんの一冊だと思います。
これでこの価格‼️という値段でこの書籍は購入できます。
たまたま著者のお一人とお話しできる機会があったのですが。「LLMオブザーバビリティの領域は重要なのにまだ認知されていない。技術をもっと広めたい」とおっしゃっていたのが印象的でした。
私自身、この書籍に感銘を受けたので興味がある方はぜひ読んでほしい一冊でした🚀