生成AI活用における一般的課題とAWSの生成AI系サービスの活用

はじめに

こんにちは、Webエンジニアの岩田史門(@SI_Monxy)です！
改善点や修正点があれば、コメントにて優しくご指導いただけると嬉しいです

2024年6月20日と21日に幕張メッセにて開催されたAWS Summit Tokyoに参加してきました。今年は生成AI活用とBedrock、Claude3.5一色だったなと言っても過言ではないくらい、生成AIが多くのセッションや事例紹介ブースで触れられていました。そこで、AWS Summitにて学んだことをアウトプットしたく、記事を書くことにしました。

生成AI活用における一般的な課題や懸念点

柔軟性と発見性

• 新しいモデルがどんどん出てくるからエコシステムについていくのが大変

セキュリティとコンプライアンス

• インプットデータを他社に使われてしまわないか
• インプットしたデータを再学習に利用されてしまわないのか
• 海外リージョンにデータが保管されるのか、されないのか

カスタマイズと評価

• ドメインに特化したモデルもあったりするからどれを選ぶのか

可溶性

• １分当たりのトークン数の上限
• １分当たりの利用回数制限

コスト

• リクエストあたりの金額
• トークンあたりの金額

AWSの生成AI系のサービス

Amazon Bedrock

• 用途
  • 基盤モデルを利用して生成AIアプリケーションを構築およびスケーリングすることができる
• 利点
  • ログは強制保存されないし、問題が起きた際もAWS社員がログを確認することはない
    • 機密データやログが外部に見られてしまうこともない
  • 固定コストなしの従量課金、モデルが３つあるので使い分けで節約が可能
  • バージニア北部とオレゴン州から最新版がりりーすされるが、Tokyoリージョンも対応

SageMaker JumpStart

• 用途
  • モデルの限界を引き出す
  • ファインチューニングをする
• 利点
  • SageMaker JumpStartコンソールから利用できる
  • データをAWS内部に閉じて保管することができる
  • 脆弱性診断のセキュリティスキャンを受けている
  • 最新のモデル36種類ほどに対応しているし、数クリックでデプロイできる
  • 日本語モデルもある
  • HIPAA（ひっぱ）に準拠
  • 金融やEUとかでも使われている

参考

• Amazon Bedrock
• Amazon SageMaker JumpStart