生成系AI学習の第一歩はこれから、、という方向けのコースが、Skill Builderで新たに開設されました。
コース名はAWS で始める生成系 AI for Entry (Japanese ONLY) (Na) 日本語実写版。
当記事は、当該コースのまとめ記事となります。
全体の構成は「生成系AIの基礎」「AWSでの生成系AI」の2章建てです。
生成系AIの基礎
生成系AIとは
新しいコンテンツやアイデアを生み出すことができるAI。
→基盤モデル（FM, Foundation Model）と呼ばれる膨大なデータに基づき事前にトレーニング（機械学習）された大規模モデルにより実現している。
機械学習(ML, Machine Learning)とモデル
例）オンラインショッピングサイトで、過去の購入履歴に基づいてお客様におすすめの商品を提供したい
＜従来の古典的なプログラミング手法＞
おすすめ商品の選定を担う「ルール」はプログラマーが実装する。
→そのルールが個々のお客様のニーズに当てはまるかは未知数。。商品数が多くなれば、その分ルールは複雑に。。
＜MLアプローチ＞
おすすめ商品の選定を担う「ルール」はAIにより導き出される。
→流れは次の通り。
- お客様の年齢/季節ごとの売上データなどの重要な要素（パラメータ）を選び出し、それらが次に購入する商品にどう影響するかを予測する数式を作成する
- コンピュータ（機械）でその数式にデータを代入して、各要素の影響度「重み」を繰り返し調整する＝トレーニング（学習）
- トレーニングを経て、数式（モデル）が最適化される
補足）
| 従来の機械学習モデル | 基盤モデル | |
|---|---|---|
| 用途 | タスク特化型 | 汎用型 |
| 学習データ | 専用のデータ | 膨大なデータ |
■基盤モデルの例
BERT、GPT、Amazon Titan、Claude、Cohere、BLOOM、Stable Diffusion、Hugging Faceなど
■基盤モデルの主な種類
Text-to-text：簡単な自然言語プロンプトから、複数アプリケーションのためにテキストを生成
Text-to-embedding：検索や文書間の類似点検索などの用途向けに、テキストの数値表現を生成
Multimodal：自然言語プロンプトから画像生成・編集
基盤モデルを実務利用するパターン3つ
-
プロプライエタリモデル活用
1-a. プロンプトエンジニアリング：インプット（プロンプト）を試行錯誤することで、アウトプットをカスタマイズする方法。
前提を与えずにモデルに指示するZero-shot プロンプティング、前提を与えた上でモデルに指示するFew-shot プロンプティングがある。
1-b. RAG(Retrieval Augmented Generetion)：ユーザー独自のデータを参照させて、アウトプットをカスタマイズする方法。
ハルシネーションを抑制する効果がある。 -
公開済みモデルをチューニング
2-a.Fine-Tuning：ユーザー独自のデータを使って基盤モデルを追加でトレーニングして、基盤モデル自体をカスタマイズする方法。 - スクラッチでモデルを開発
※数字が大きくなるにつれ、様々なコストが増大し、必要なスキルも増える。
基盤モデルの課題
- 構築に膨大な費用とリソースが必要である。
- 基盤モデルをソフトウェアスタックに統合し、アプリケーションとしての使いやすさを実現することが求められる。
- 運用時に正しくない出力を監視する必要がある。
AWSで生成系AIを活用する方法
Amazon Bedrock
- サーバレス（完全マネージドサービス）
- AI21 Labs、Anthropic などが開発した基盤モデルから業務用途に合わせて選択し、単一のAPIで利用可能
Amazon SageMaker
- 非サーバレス
- Amazon SageMaker JumpStart を使うと、公開されているさまざまな基盤モデルにアクセスして、スペックやコストを最適化した生成系 AI の開発・運用が可能
■Amazon SageMaker JumpStart で基盤モデルを利用する方法
- SageMaker コンソールでマネージメントコンソールから利用
1-a. 利用できるモデル、バージョンはリージョンによって異なる。 - SageMaker ノートブックで1つずつ実行
- SageMaker Studio（機械学習の統合開発環境）を使ってワンクリックでデプロイ
参考資料
Machine Learning Basic（日本語実写版）
基盤モデルとは何ですか？
Amazon Bedrock Getting Started (Japanese) 日本語字幕版
Amazon SageMaker ノートブックで生成系 AI を開発
Amazon SageMaker JumpStart で始める生成系 AI（日本語実写版）