経緯
5/26に開催された技術書典16のオフライン会場で小川航平さんとばったりお会いし「ChatGPT 大規模言語モデルの進化と応用」を献本頂いておりました。出版おめでとうございます！
あの時書評するといったまま数ヵ月たってしまっていました。ごめんなさい。
ということで、早速書評させていただきたいと思います。
目次
※ 各章の折りたたみを展開すると節の内容が確認できます
第1章 ChatGPTの概要
1.1 ChatGPT登場の背景と社会的反響
1.2 言語モデルの歴史
第2章 ChatGPTの動作原理
2.1 トランスフォーマー
2.2 BERT
2.3 GPT-3
2.4 RLHF
第3章 他の大規模言語モデル
3.1 LaMDAとBard
3.2 PaLM
3.3 LLaMA
第4章 ChatGPTのAPI
4.1 ChatGPTのAPIとは？
4.2 アクセス取得及び最初の呼び出し
4.3 入力及び応答のフォーマット
4.4 アドバンスドな利用方法
第5章 APIを用いたファインチューニング
5.1 ファインチューニングの準備
5.2 ファインチューニングの実行
5.3 推論の実行
第6章 HuggingFaceを用いたファインチューニング
6.1 Pythonスクリプトによる学習の準備
6.2 モデルの学習
6.3 推論
6.4 RLHFの再現
第7章 プロンプトエンジニアリング
7.1 プロンプトエンジニアリングの概要
7.2 プロンプトのパターン
7.3 日本語のプロンプトエンジニアリング
第8章 Microsoftのサービスで始めるLLMシステム
8.1 本章に書くこと・書かないこと
8.2 LLMを組み込んだMicrosoft製品
8.3 Azure OpenAI Serviceという選択肢
8.4 RAGアーキテクチャ
8.5 研究者のためのクイックなRAG環境構築：Azure OpenAI Serviceとカスタム実装
8.6 本章の最後に
第9章 ChatGPTの限界を越えて
9.1 ChatGPTの限界
9.2 外部APIを用いたChatGPTの改善
9.3 ChatGPT生成文章の識別
9.4 ChatGPTとAGI
第10章 マルチモーダル大規模モデルの数々
10.1 テキストによる画像生成
10.2 テキストによる動画生成
10.3 テキストによる音声・音楽生成
第11章 今後の課題
11.1 言語モデルの現状
11.2 言語モデルの今後
11.3 結語
書籍紹介
本書は、目次とおり11章で構成されていますがトータルのページ数は192ページでコンパクトにまとめられています。
読者対象もデータサイエンティストや研究者を想定されており、説明の中で数式やPythonのサンプルコードも出てくるのでそれらに興味のある方が手に取られるとより理解が深まる内容になっています。
参考文献も83個と多く掲載されているため、より深堀したい方は論文に飛んで理解を深めることができます。
具体的な内容はマスクド・アナライズさんが紹介されているのでぜひご覧ください。
感想
2章の自然言語モデルの進化の流れを振り返ると、数年前に「ゼロから作るＤｅｅｐ Ｌｅａｒｎｉｎｇ〈２〉自然言語処理編」でRNN/LSTM実装してふむふむ言ってた時やその後BERTとかも動かしてみて、人に比べるとまだまだやなーと思っていたのが、2, 3年前にChatGPTが出てきて飛躍的に性能が向上していたのを目の当たりにして度肝抜かされた時のことを思い出します。
という個人的な感想(感傷？)はおいといて、
本書は、ChatGPTの理論的な話から、プレイグラインドやAPIを活用した基本的な利用方法だけでなく、ファインチューニングの方法まで一通りサンプルコード付きで、GoogleColaboratoryで試せるのがいいですね。理論だけでなく実践も手触り感のある形で理解することができます。
8章も本文の内容としては、研究者やデータサイエンティスト向けにエンジニアリング要素少な目で解説していますが、深堀したい方向けにgithubリポジトリのリンクも提供されています。そのため、エンジニアの方もこの本でChatGPTの理論を理解した上でgithubリポジトリのサンプルコードでより深堀するという使い方もできそうですね。
まとめ
とこうことで、「ChatGPT 大規模言語モデルの進化と応用」の書評でした。
ChatGPTの理論を知りたい方が入門書として最初に読むのに適しており、研究者やデータサイエンティストの方がより理論の理解を深めたい方は参考文献の論文を読む、エンジニアの方が実装面の理解を深めたい場合はgithubリポジトリのサンプルコードを動かしたりデプロイして確かめるなど多様な使い方ができる一冊です！