機械学習についての推奨・必読本リストを毎年更新していますが（2025年版も同時更新しました！）
生成AI関連は別立てとすべく、以前書いた
この記事をベースに書籍に関して大幅増量。「2025年版 生成AI・大規模言語モデルを学ぶための30冊」としてお届けいたします。
- 現在R&D部門で技術調査が主業務で開発からは離れております。また私の関心があまり開発の方にないので、Dify、エージェント、LangChain、MCPなどは非常に手薄です
- また、主にテキスト系生成AI、大規模言語モデルがメインで、画像系、音声系は補足的です
- あくまでもIT企業のエンジニア視点です。アカデミア視点ではないのでご容赦
読む順番のフロー図は悩みましたしまだ悩んでいます。
大体難易度順のフローにしていますが、この本は飛ばしてもいいし、順番が逆の方が人によってはわかりやすいなどもあるかと。あくまでも便宜上の目安で。
| カテゴリ |
必須 |
定番 |
差をつける |
計 |
| ユーザ系 |
1 |
2 |
2 |
5 |
| 社内導入系 |
0 |
1 |
0 |
1 |
| 理論・実装系 |
4 |
9 |
6 |
19 |
| 構築系 |
0 |
3 |
2 |
5 |
| 計 |
5 |
15 |
10 |
30 |
ユーザ系
生成AIの理屈はいいからまず、まず使ってみましょう。そのためにはプロンプトの最低限のところから、工夫した使い方までを知りましょう、的なところです。
高度なプロンプトエンジニアリングは「開発系」の方へ。
| 書名 |
内容 |
面倒なことはChatGPTにやらせよう
|
- 2024-01発売でもう「古典」の域。生成AIの世界では古い本ですし、類書がたくさん出ていますが、「ChatGPTになんらか作業をさせる」という意味では本書が一番いいかなと思います
- その後たくさん出た類書は「編集者に尻を叩かれながら薄い内容を盛って感」があるのですけれど本書は、「痒い所に手が届く感」というか「吟味したノウハウを取捨選択している感」があるんですよね
- 著者さんがKaggle本の「うすい本」など、技術出版界隈のせいもあるのかな
|
深津式プロンプト読本
|
- というわけで「面倒なことは」本の後何冊か読みましたが決定打はなく、類書の海に溺れそうなところ、上記書の著者カレーちゃんさんが推薦したので、読みましたが本物ですね
- プロンプト手法の整理、テキスト生成やQ＆Aのビジネス利用には本書
|
AI時代の質問力 プロンプトリテラシー 「問い」と「指示」が生成AIの可能性を最大限に引き出す
|
- ペルソナパターンとか、Chain-of-Thoughtパターン、ReACTパターンとか類書のTips集のような章見出しが並んではいるのですが、単なるTips集ではありません
- わざわざ「リテラシー」と題しているだけはあり、プロンプトのTips的はものはほとんどありません
- プロンプトを考える時のOSを自分の中に持つ的なことかなと思います
- 繰り返しですが、
- 作業させるなら『面倒なことはChatGPTにやらせよう』
- テキストのやり取りなら『深津式プロンプト』
- 土台となる考え方なら『プロンプトリテラシー』
- というような立ち位置かなと思います
|
生成AIスキルとしての言語学
|
- 言語学の立場からと言うことで小難しい話ばかりするのかと思ったらプロンプトに関する実践的はお話だったこれはすごい
- 生成AIを言語で対話するという観点での整理ですね
|
AIを使って考えるための全技術
|
- 生成AIへの作業指示というよりも一緒に考えるためのアイデア出し、一人ブレスト用に特化したプロンプト、ノウハウ集
- 生成AIの利用だとすぐ「要約」や、コーディングや資料作成などが上がるのですが、ハルシネーションどうこうで使えないとかいう人がいる、でもそこじゃないのよ別府ちゃん
- 現状の生成AIの値打ちは圧倒的に考える、ブレスト相手だと思っているので、真打ち登場的な本ですね
|
社内導入系
類書がたくさん出ていますが、すぐ消えそうなパンフレット的なものが多く、要点を整理した本格的な本のみ。1冊ですが。
| 書名 |
内容 |
実践 生成AIの教科書
|
- 日立さんにより企業に生成AIを導入するにはのノウハウと注意点など
- 類書は単に機能紹介がメインですけれど、企業で使うには組織をどうするか倫理やセキュリティはとたくさん気になりますがそこらへんまでカバーしています
|
理論・開発系
エンジニア視点で押さえておいた方が良い理論と、実装の本。実装もTransformersでモデルを扱うなどが中心。
冒頭に申した通り、LangChainやMCPでがっつりシステムを組むなどは私が経験がないので手薄です。
理論・実装系
深層学習
深層学習も前提知識と必要ですが別立てとしました。
の「2.3.3. 機械学習アルゴリズム-2(深層学習)の4冊」など
自然言語処理
一部、「機械学習・データ分析の必須10冊+ガチ90冊+Next5冊」のリストと被りますが改めて。
| 書名 |
内容 |
放送大学 自然言語処理入門
|
- 地味ですが自然言語処理に関する分野についての概説としてはちょうど良いと思います
|
自然言語処理の教科書
|
- 前書きに
本書は開発に関するハンドブックになることを目指しているので、研究に興味があるという人は、放送大学の教科書『自然言語処理〔三訂版〕』（放送大学教育振興会, 2023）または『IT Text 自然言語処理の基礎』（オーム社, 2022）をお読みください。 とあり、まさにエンジニアの入門用の教科書ですね。 - 数式は最小限で従来の自然言語処理からTransformerや大規模言語モデル、そしてコーパスなどの話題を広く扱っています。
- 前書きにある通りこの本の後に次の『IT Text 自然言語処理の基礎』を読むと良さそう。
|
IT Text 自然言語処理の基礎
|
- がち
- 大規模言語モデルの流行でプロンプトがどうしたこうしたと浮ついた本がたくさん出ていますが、それだけでは解決しないし、すぐ流行り廃りはあるし
- でもインターネットの移ろいがあってもTCP/IPが全く揺るがないように根っこの技術を学ぼうじゃないか
第1章 自然言語処理の概要
第2章 自然言語処理のための機械学習の基礎
第3章 単語ベクトル表現
第4章 系列に対するニューラルネットワーク
第5章 言語モデル・系列変換モデル
第6章 Transformer
第7章 事前学習済みモデルと転移学習
第8章 系列ラベリング
第9章 構文解析
第10章 意味解析
第11章 応用タスク・まとめ
|
統計的テキストモデル──言語へのベイズ的アプローチ
|
-
目次にありますが、Word2Vec以降のTransformerなどには触れていません
- ニューラルネットではなく統計モデルとしてどう自然言語を取り扱うかの専門書です
- Transformerが「正解」として君臨しているわけではなく多数の考え方が提案されている現在において、自然言語というものを感が治す基礎トレーニングになるのかなと思っています
|
ゼロから作るDeep Learning ❷ ―自然言語処理編
|
- 自然言語のベクトル化からTransformerの入り口までをゼロからコーディングしていく本
- 一応「実装」に分けましたがLLMの実装ということではなく、コーディングしながら理論を理解していく本です
|
生成AI
「生成AI」と「LLM(大規模言語モデル)」が世の中でかなりごっちゃに使われています。自分なりの整理を別記事に書きました。
ざっくり言いますと
- AI
- LLM(大規模言語モデル)
- Encoder系
- Encoder・Decoder系
- Decoder系
- 別途画像や音声の研究
のような研究が進んでいましたが、深層学習を用いた深層生成学習が驚異的な進化を遂げ、それらをまるっと「生成AI」と呼ぶようになっている。LLMの中でも深層生成学習を行うDecoder系で結局分類や要約・翻訳もできるようになっている。画像や音声の生成AIも進化して、Decoder系の深層生成学習つまり生成AIが隆盛を極めている。
みたいな中でざっくり生成AI≒深層生成学習についての本です！
| 書名 |
内容 |
生成AIのしくみ 〈流れ〉が画像・音声・動画をつくる
|
- 『大規模言語モデルは新たな知能か』に続いて、生成モデル一般と拡散モデルについての解説書
|
深層学習 生成AIの基礎
|
- 深層学習についてのテキストシリーズの1冊として深層生成学習の巻
- ですので深層学習については別の本で基礎を固めた方がいいですが、NNの基礎から深層学習に触れ、Transformer、強化学習、拡散モデル、GANなどを網羅しています
- ざっくり深層生成学習の基礎を俯瞰したい方向けですね
|
機械学習のための確率過程入門(増補改訂版): 確率微分方程式からベイズモデル,拡散モデルまで
|
-
私が読んだのは初版のみで、本書は改訂版
- 確率モデルのテキストですが、その中で拡散モデルなどにも触れています
- Transformer以外に拡散モデルや、その他確率モデルが採用されることも増えてきたので、そこらの基礎固め用です
|
拡散モデル データ生成技術の数理
|
- 拡散モデルについて1冊になっている和書は本書のみかと
- 正直難しいです
|
原論文から解き明かす生成AI
|
- と、この後は論文を読むしかないのですが、生成AIに要約・翻訳させられるという世の中になったものの研究の流れ等はエンジニアには掴みにくい。そこへとんでもない本が出ました
- Transformerと拡散モデル周りの主要論文について順を追って解説してくれています
- テキストよりもわかりやすい記述もありますが、読む順番は好みですかね。先に本書を読むのも良いかもですが、他のテキストを読んで、論文などと格闘して本書に戻ってくるとわかりやすいのかなと思います
|
ゼロから作るDeep Learning ❺ ―生成モデル編
|
- 理論の本に書いてあるけれどわからないじゃないですか！そんな時こそ「ゼロから作る」です
- ご存知「ゼロから作るDeep Learning」シリーズがついに生成モデル
- 確率分布から、確率モデルへ進み、VAEや拡散モデルへ
|
生成 Deep Learning 第2版 ―絵を描き、物語や音楽を作り、ゲームをプレイする
|
- こちらはライブラリなどを用いて各種生成AIの実装例を示すという
- 初版に比べ最新動向を盛り込みつつ、Transformer、VAE、GAN、拡散モデルについて、テキスト、画像、音声についてUpdate、そしてエージェントに必須の「世界モデル」についても触れています
|
LLM（大規模言語モデル）
前の節で説明した通り、LLMが全て生成AIではないですが、事実上生成AIの中でのLLMの本。
| 書名 |
内容 |
大規模言語モデルは新たな知能か ＣｈａｔＧＰＴが変えた世界
|
- 大規模言語モデルがこんな流行るとは！
- 雨後の筍のように便乗本が出ていますがほとんどは消えます。この記事を読むような方は本質を
- 難しいのですが、PFNの岡野原さんが分かりやすい解説書を出してくれました
|
大規模言語モデル入門
|
- transformersライブラリを用いてコーディングしながら大規模言語モデルの理論と実装の両方を体験できる嬉しい本
- 基本Google Colaboratoryの無料枠で実行可能
- 『IT Text 自然言語処理の基礎』下記のような目次で、大規模言語モデルを一通り学べる
第1章はじめに(transformersを使って自然言語処理を解いてみよう)
第2章 Transformer
第3章 大規模言語モデルの基礎
第4章大規模言語モデルの進展
第5章 大規模言語モデルのファインチューニング
第6章 固有表現認識
第7章 要約生成
第8章 文埋め込み
第9章 質問応答
|
大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価
|
- 改訂版ではなく続編
- IIになるとGoogle Colaboratoryの無料枠では無理で有料枠が必要な処理が多め
-
第10章 性能評価
第11章 指示チューニング
第12章 選好チューニング
第13章 RAG
第14章 分散並列学習
|
直感 LLM ハンズオンで動かして学ぶ大規模言語モデル入門
|
- 概ね「大規模言語モデル入門I, II」と被っています
- 本書の方が新しいぶんライブラリの新しいバージョンに対応していいかも
|
プロンプトエンジニアリング
ユーザ系「プロンプト」を越えて、もっと本格的なプロンプトエンジニアリングや、コーディングのためのプロンプト、あるいはRAGやエージェントなどの構築を見越したプロンプトと他ツールの連携APIなどにも踏み込む場合の本です。
画像生成
業務でほとんど関係ないので、知見薄ですが、画像に特化した内容も最低限は知っておこうと思いまして。
構築系
冒頭に記載の通り業務上扱っておらず、関心も低めなため手薄です。ここが一番類書が多いですかね。
類書いくつか読んでますが、最低限の知識は持っておこうという場合に外せないだろうなという本らです。ご容赦。
アプリ開発プラットフォーム
RAG・エージェント
RAG関連
| 書名 |
内容 |
はじめての知識グラフ構築ガイド
|
- LLMでもRAGの本ではありません！
- RAGの本がまだなかった頃に見つけましたが、知識グラフについての概説書です
- RAGの本はLLMとの連携については詳しいのですが、知識グラフ側の解説が薄いので補強の意味
|
検索システム 実務者のための開発改善ガイドブック
|
- LLMでもRAGの本ではありません！
- X記事で検索系のエンジニアの方が「RAGの検索部分は従来の検索エンジンのノウハウが重要なのだが、それがすっかり忘れられてプロンプトで無理をしている例が多い」という内容を投稿なさっているのを見て、検索についてのノウハウを得ておこうと
|
