『つくりながら学ぶ！LLM 自作入門』を読むぞ

『つくりながら学ぶ！LLM 自作入門』 が実質半額だったのでポチったみた。
いま (2025/7/18 10:06 JST) もまだ半額っぽいので、興味あればぜひ。

どれくらい重めの本なんだろう。ぬこぬこさんのツイートで知って反射的にポチったから全然内容とか確認してない。

Amazonから目次を引用すると、

1章　大規模言語モデルを理解する
2章　テキストデータの準備
3章　Attentionメカニズムのコーディング
4章　テキストを生成するためのGPTモデルを一から実装する
5章　ラベルなしデータでの事前学習
6章　分類のためのファインチューニング
7章　指示に従うためのファインチューニング
付録A PyTorch 入門
付録B 参考資料
付録C 練習問題の解答
付録D 訓練ループに高度なテクニックを追加する
付録E LoRAによるパラメータ効率のよいファインチューニング

となっている。結構本格的っぽい。いいね。

Attentionとかざっくりしか知らないからよさそう。Transformarもやるのかな？やりたいな。
ファインチューニングもあるのはいいね！ファインチューニングもSaaS的なノリになってくるんだろうけど、技術者としては内部まで知ってないとね。
PyTorch、ほぼ未経験だけど大丈夫かな。がんばろ。

自然言語処理レイヤの勉強だいぶ久しぶりだけど、大丈夫かな。忘れてることかなりありそう。まあそしたらLLMに聞けばいいか。ほんと勉強好きにはたまらない好環境だよね今って。ありがてえ。

最初から気張って途中で燃え尽きるパターン多いから、気をつけよう。
毎朝30分やることから始めよう。だらだらでもいいから継続って感じでやってく。