いつも記事を読んでいただきありがとうございます！
モブエンジニア（@mob-engineer)です！
2025.01.09（木）に開催したAWSコミュニティHEROと学ぶ！Amazon Bedrock勉強会&事例共有会へ参加ましたのでアウトプットとしてイベントレポートを執筆いたしました。
初学者でも読めるように平易な表現で執筆しておりますので、お気軽に読んでいただければ幸いです。
誤字脱字・分かりづらい表現などはチェックして排除しておりますが、リアルタイムで執筆しているため、誤字脱字があるかもしれません。その点ご留意いただけますと幸いです。
イベントページ
目次
- AWSの生成AIサービス Amazon Bedrock入門
- re:invent振り返り感想会
- AWS re:inventアップデート総まとめ
- LT大会
- Bedrockを使い始める際にやっておいたほうがいいことまとめ
- 社内ツールcirroの紹介
- AWS上でGraphRAGやってみた
- Slack + Agents for BedrockでAWSリソースを操作する
- 生成 AI アプリケーション開発に評価の仕組みを導入して精度向上を実現した話：DB 設計レビュー自動化の取り組み
AWSの生成AIサービス Amazon Bedrock入門
- 自己紹介
- みのるんさん
- KAGのテックエバンジェリスト
- みのるんさん
- 前置き
- 多くの企業が生成AIに力を入れている
- 2022年からAIが盛り上がり始めた
- セキュアな環境で利用できるようにする⇒クラウドで利用できるようにした
- 多くの企業が生成AIに力を入れている
- Bedrockとは
- ざっくり言うとサーバーレスでAPIを実行できる
- AWSの利点
- 生成AIを活用したサービスが複数ある
- 多くのAI企業のモデルを利用できる
- AWSで利用できるモデルは多すぎる
- テキスト生成：Cluade（タスク処理など）
- RAG利用：Embedモデル
- 画像生成：stable diffusion
- サンプル利用するのであればプレイグラウンドを利用すればいい
- Python SDKなどの開発ツールを利用する
- アーキテクチャ構成もそこまで複雑でない
- エンプラ向けの付随機能
- メトリクス監視・ログ出力もできる
- 機械学習のめんどくさいところ（ファインチューニング、RAG構築など）を自動的に行ってくれる
- みのるんさんおススメ機能
- RAG：ベクトルデータベースから正しい情報を取得できる
- エージェント機能：複数タスクを各AIエージェントに任せられる
- ワークフロー機能：ノーコード構築が出来る
- 海外リージョンをうまく活用することで最新のモデルを利用できる
- Bedrockのおすすめポイント
- APIを叩くだけなので内製開発の入門にもってこい
- 毎週情報がアップデートしているのでコミュニティでも盛り上がっている
re:invent振り返り感想会
- re:inventの参加方法は
- あわっちさん
- 社内で参加
- みのるんさん
- 社内で参加
- 同僚のなかでは自費参加できる
- AWS Heroになれば旅費含めタダ
- あわっちさん
- re:inventと仕事を両立するには
- あわっちさん
- 時差ぼけは注意したほうがい
- カップラーメンは持っていかない（日本と同じアメニティはない）
- 日本人は多数いらっしゃるので、参加ハードルは低いと思う
- みのるんさん
- 事前に社内にネゴっておくことが必要
- オンラインでもre:inventセッションは公開されている
- JamやGameDayなど手を挙げるイベントに参加してみることもいい
- あわっちさん
- 盛り上がったイベント・アップデート
- あわっちさん：
- リアルとテクノロジーが融合したスポーツイベント
- みのるんさん
- キーノートを間近で見ることが出来る
- 登壇することで多くの方とコミュニケーションを取ることが出来た
- あわっちさん：
- モチベージョンは上がったか
- みのるんさん
- 常にモチベーションは高い
- 去年初めて参加した時はアップデート情報を追うのが楽しかった
- あわっちさん
- 正直オンラインで聞いていた技術者の方がキャッチアップはできていたと思う
- アップデートというより設計思考などの考え方のセッションは良かった
- みのるんさん
- AWS Community Builderの応募期間中
- 年間ブログ2件、社外登壇2件でチャレンジできる（私もいけるかな...）
AWS re:inventアップデート総まとめ
- 前置き
- 普段で合えないAWS関係者とコミュニケーションを行えた
- アップデート
- Amazon Bedrock（推論系）
- Rerank APIが登場
- 検索結果・質問をランキング順に並べられる
- Amazon Novaシリーズが登場
- Titanモデルの上位互換
- マネジメントコンソールで操作するだけで動画生成できる
- モデルの蒸留機能を登場
- ざっくり言うと、上位モデルが他モデルを教育する（アンサンブル学習？）
- Poolside、Luma AIのリリースなども出てきた
- Bedrockマーケットプレイスが登場した（幅広くモデル利用可能）
- 推論APIレイテンシー最低帰化API
- 推論速度が改善した
- Amazon Bedrock（ナレッジベース）
- ナレッジベースがカスタムコネクタ機能実装
- 更新データを直接ベクトルデータベースへ反映させる
- 同期時のボトルネックを削減できる
- データオートメーション機能
- 画像などのデータをテキストデータへ置き換える
- Amazon Textactが不要になった？
- Bedrockナレッジベースがクエリ検索に対応した
- Glue データカタログとRedshiftが対応している
- ナレッジベースでGraphRAGを利用可能
- Aurora ServerlessがBedrockをサポート
- 使っていないときは課金が走らない
- Amazon Bedrock（エージェント）
- マルチエージェントのコラボレーション機能
- Amazon Bedrock（ガードレール）
- 自動推論チェックをサポートしている
- アルゴリズムを用いた自動推論が可能（Amazon fraud Detectorのようなもの？）
- Amazon Bedrock（評価）
- LLM-as-a-judgeをサポートした
- 人間が評価する前提だが、どれを評価する必要があるのかを判断できる
- 質問
- Rerankの設定方法は
- オレゴンリージョンだけしか対応していない
- 詳細オプションから設定できる
- データオートメーションについて
- 利用はできるがプレビュー段階なので英語のみしか対応できない
- Rerankの設定方法は
LT大会
Bedrockを使い始める際にやっておいたほうがいいことまとめ
- プロンプトまわりで使った方がいい方法を紹介
- 自己紹介
- KINTOテクノロジーズの方
- 趣味はM1
- とりあえずやっておいた方がいいこと
- プロンプトログの設定
- クロスリージョン推論の利用
- アプリケーションスリオンプロファイルの使用
- プロンプトログの使用
- Amazon Bedrock>設定から利用可能
- どのようなプロンプトが呼び出された監査可能
- API呼び出しなどはCloudTrailで実行可能
- クロスリージョン推論の利用
- リージョンごとに利用できるモデルが違っている
- スロットリング対策が出来る
- アプリケーションスリオンプロファイルの使用
- 呼び出し時にコストを把握することが出来る
社内ツールcirroの紹介
- 初めに
- これから生成AIを活用したアプリケーションを開発したい方
- 自己紹介
- 元自衛官の方
- 未踏スーパークリエーターの方
- 背景
- 社内文章が多くなってきたので生成AIを使ってチャットボットを作りたい
- 開発メンバーはデータサイエンティストが多かったので簡単にできるようにしたい
- 課題
- RAGは料金が高かった
- サーバーレスで構築できるようにしたい（使った分だけ）
- セキュリティも楽にしたい
- 課題解決のアプローチ
- Lamdba＋Bedrock＋αのアーキテクチャで実装
- cirroのターゲット層
- 一般的なAIサービスとRAGサービスの間
- 規模もそこそこ、料金もそこそこ
- S3のファイル数分アプリを生成してくれる
- フロントエンドはLamdbaで処理させる
- 新モデルへのスイッチに関しても簡単にできるようになる
- アドインモジュールを変えれば、アウトプットも変えられる（BI以外の利用方法？）
- 一般的なAIサービスとRAGサービスの間
- 社内利用の結果
- 環境構築の効率化（約50％削減）
- コストとしても10数ドル程度で済んでいる
- 今後の展望
- GISSを満たすように調整を行う
- PoCから社内展開への移行を行っていく
AWS上でGraphRAGやってみた
- 自己紹介
- 社内の生成AI活用推進の方
- Kaggle Expertの方（社内の生成AIに関するエンジニアリングも行っている）
- RAGとは
- 検索拡張生成のこと
- Native RAGの苦手なこと
- 文章全体の抽象的な質問（全チャンクを持ってこれない）
- 文脈を理解した回答（あくまで統計的な予測だから？）
- GraphRAGとは
- 2024年にMicrosoftが公開した技術
- ざっくり言えば、主語述語の関係性を活用したもの（グラフ理論の考えを持いたアプローチ）
- （個人的意見）特徴量の取り扱いはどうなっているのだろうか(゜-゜)
- 予測精度比較
- 抽象的かつ本文に明示されていない内容についても出力してくれる
Slack + Agents for BedrockでAWSリソースを操作する
- 概要
- AWSリソース情報をSlackへ通知する仕組みを構築した
- リソース作成、情報収集も行える
- （個人的意見）社内でリソース管理するときのツールとして使えそうだな(゜-゜)
- 比較考察
- Agents for Bedrock
- 初学者向けだが高度なことは難しい
- multi-agent-orchestrator
- 上級者向けだが高度なことは何でもできる
- Agents for Bedrock
- 今後の展望
- エラーログを収集できるようにする
生成 AI アプリケーション開発に評価の仕組みを導入して精度向上を実現した話：DB 設計レビュー自動化の取り組み
- 自己紹介
- DBREグループ所属の方
- 背景
- DBのテーブル設計レビューを生成AIが活用してみた
- プロンプトの精度を向上させるために評価の仕組みを導入した
- 非ML人材だからこその知見を得る
- 構文解析 vs 生成AI
- コーディング規約は対応可能だが推測系は難しい
- 自前仕組み構築の利用は
- 多数のガイドラインを生成AIで高精度にレビューするのは現状厳しい
- 構文解析とハイブリットに活用できるようにしたい
- ライフサイクルから見た評価
- モデル選定フェーズ
- 結論、AnthropicのClaude 3.5を利用した
- 雑なプロンプトでもいい感じで評価してくれる
- アプリケーション開発フェーズ
- 評価をざっくり分けると品質とコンプライアンスに分けられる
- 品質評価：レーベンシュタイン距離
- DDLの類似度を測るもの（完全一致を考える）
- コンプライアンス：今回は不要
- 社内利用＋DDL限定のため
- 評価用アプリフェーズ
- アプリを実装した理由としてDiff比較を楽に行うため
- ない場合は目視で行うため厳しい状況になってしまう
- 専用アプリを開発することで開発速度を向上（開発体験の向上）
- アプリを実装した理由としてDiff比較を楽に行うため
- モデル選定フェーズ
まとめ
Bedrock周りに関してはコンソール上で画面を見るなどは行っていましたが、アプリ開発が行えていなかったので、今回の話を聞いてアプリ開発を行ってみたいと思いました。
最後まで記事を読んでいただきありがとうございました！！