生成AI、自然言語処理等の本の紹介はまた別途記事にしたいと思いますが、ネットの記事・コンテンツ（一部書籍で役立つものをご紹介します。書籍以外は無料のコンテンツです。
まず使ってみるところから理論の基礎、コード写経、研究動向の入り口まで
まず使ってみる
- ASCIIの田口和裕氏の連載記事。なんだかよくわからないと逡巡している人はこの記事を読んでまず使ってみることが一番重要だ。ChatGPTの無料版、有料版。Claude3、Perplexityもあります。
-
面倒なことはChatGPTにやらせよう
- ChatGPTに指示を出すためのHowTo集。類書がたくさん出ていますが、もう一歩踏み込んで感があり、一番役立つのではと思います。
プロンプトエンジニアリング
- 生成AIに指示を出すためのプロンプトをどう書くかのプロンプトエンジニアリングはまずここが基本。
- Claudeの開発元のAnthropicさんがプロンプト集を出してくれています。
- Microsoftのエンジニアの方がビジネスで使うにはのプレゼン資料と自分で試すための演習を出してくれています。綺麗事だけじゃなくて、ここで挫折したとかマイナス面も書いてくださっているので身に沁みてわかりやすいかと。
企業導入
-
実践 生成AIの教科書
- 日立さんにより企業に生成AIを導入するにはのノウハウと注意点など。類書は単に機能紹介がメインですけれど、企業で使うには組織をどうするか倫理やセキュリティはとたくさん気になりますがそこらへんまでカバーしています。
- KDDIさんのUIデザイナーさんが社内勉強会をなさった時の資料。UIデザインの内容に特化してますが、非常に具体的なのでビジネスにどう活かしていくかの参考になる部分があると思います。
学ぶ
自然言語処理全般
- 元自然言語処理の研究者で現在はコンサルティングをなさっている方の自然後処理情報のサイト。
- 自然言語処理の基礎や歴史から大規模言語モデルまでのリンク集。
- 現在は一橋大に移られている小町先生の研究室の都立大時代のサイト。2021-03時点なので大規模言語モデル等については古い情報ですが、自然言語処理の基礎をどう学ぶか、参考となる書籍の紹介としては信頼性が高く本格的かと。
- 05/24 に小町守. 『自然言語処理の教科書』. 技術評論社. 2024. が刊行されます楽しみですね。
- データ分析ではお馴染みTJOさんブログのLLMに向けたテキスト紹介
- 本記事著者青木も何冊か紹介記事を書いております。近々Updateした記事を書きますがそれまではよろしければこちらを。
生成AI
- 東大松尾研の「LLM 大規模言語モデル講座 2023」の教材。大規模言語モデルの基礎と研究動向など。
- 入門者はまず下記のTransformerの項の内容を理解してからが良い。
Transformer
- LLMモデルやライブラリのプラットフォームであるHuggingFaceが自然言語処理・LLMのe-Learningを提供してくれています。主に生成AI系のライブラリであるTransformersの使い方をNotebook形式で紹介しています。
-
現在のLLMで中心的な技術となっているTransformerの仕組みについてはこの記事がかなりわかりやすいかと。
-
注：Transofomerが理論で、それを含む処理を実施するライブラリがTransformers
LangChainやアプリ実装系は勉強中なのでまた、Updateします。
政府の動向
- 自民党の勉強会のようで政府の公式見解ではないですが。北野宏明先生、安宅先生、伊藤穰一先生、松尾先生、MS、Amazon、Meta、PFN、等と豪華なメンバーによる議員へのレクチャー会ですね。
- こういうところを元ネタに政府の動向が決まっていく（はずな）ので。
研究動向
- 松尾研関連の株式会社松尾研究所で毎朝、週単位、月単位でチェックなさっている情報源。
- 残念ながら論文情報の https://papers.labml.ai/papers/daily/ はサービス終了してしまったようだ
- 研究者でなく主だった目立つ論文のみでよければAIDBさんやAI-SCHOLARの無料の論文要約情報だけでもかなり役立つかと。
Transfoermer/Attentionの次
- Attentionよりも計算量が少なく同等レベルの可能性？状態空間モデルを用いたHyena Hierarchyの論文紹介
- 同じく状態空間モデルを用いたMambaの論文紹介
- 小規模な言語モデルを進化的アルゴリズムで精度を上げながら組んでいくというSakana AIの取り組み