re:Invent現地レポート

モチベーション爆上がり？

み　毎年のアップデートを追うのが楽しくなった
あ　セッション参加で集中してきけた。
　　考え方や体系的に教えてくれるセッションは良かった

み　コミュニティビルダーはre:Invent行くのにおすすめ
　　https://aws.amazon.com/jp/developer/community/community-builders/

Bedrock入門

登壇資料

re:Invent感想

　　HEROのベネフィットたくさん

新機能

・rerank
　　質問を関連順に並べる
・NOVA
・モデルの蒸留
・ベットロックマーケットプレイス
・レイテンシー最適化
・プロンプトキャッシュ
　　トークンのキャッシュでコスト削減
・プロンプトルーティング
　　複雑さによってきりかえ
・ナレッジベースのストリーミング
・カスタムコネクタ
・メタデータの自動フィルター
　　キーの絞り込みもAI
・データオートメーション
・構造化データのクエリに対応
　　ベクトルじゃなく、SQLで検索できる
・グラフラグ
・ケンドラ
安くなった　まだ英語だけ
・ベクトルDBを自動構築
　　Auroraの使用してない時のスリープ機能を使えばコスト削減
・マルチエージェント
・ガードレール
　　自動推論チェック　数学に近いアプローチ
・マルチモーダル毒性検出
・LLM as a ジャッチ

デモ

今何しているのかストリーミングで出力した方が、
ユーザのストレス軽減

質問タイム

q
a agentのフローをきちんと作ることが大事

q データオートメーション
a プレビューで簡単に出来る
　クロードで画像解析→それを渡す

(LT) Bedrockを使い始める際にやっておいたほうがいいことまとめ

モデル呼び出しのログ設定
　嬉しいこと：利用状況の確認、監査、評価

クロスリージョン推論の使用
　嬉しいこと：スロットリング対策が簡単に可能

アプリケーション推論プロファイルの使用
　嬉しいこと：アプリケーションごとのコスト把握
　コスト配分タグでアプリケーション推論プロファイルごとのコスト集計が可能となる

(LT) 社内ツールcirroの紹介

Bedrockを活用し
ユーザーが業務知識を追加・活用できるミニマルな生成AI活用基盤「cirro」を内製化

やりたいこと

SQL生成の検証
妥当な抽出結果を出力するSQLを生成させる方法の検証。
（いずれは自然言語で誰でもデータを抽出可能にしたい。）

資料案内
社内に提供しているダッシュボードについて、100件程度となりユーザが見つける負荷が上がってきた。
→ 生成AIで手軽に自然言語で検索できるようにしたい。

要約・分析
アンケート結果など自然言語で書かれた情報について、
生成AIに要約や回答者の集団の傾向を分析させたい。

検証なので安くしたい

アプローチ

早く楽に
するための共通化、標準化

システム詳細

RAGを使う程ではないが、一般的な汎用AIサービスでは面倒 or できないタスク
入出力画面を提供し、ユーザ入力と参照データから生成AIの回答を得るシステム

デモ

効果

Twitterのフォロワー分析のシステム作成
→工数が50%削減

まとめ

実装は簡単だけど、本番運用に向けたssoに課題

(LT) AWS上でGraphRAGやってみた

RAGとは

(LT) Slack + Agents for BedrockでAWSリソースを操作する

Slack+aws chatbot+Agents for BedrockでAWSリソースを操作する
①S3の操作（作成削除）
②エラーログを取得して分析する

multi-agent-orchestrator (Bedrock Zits)
③Classifierによるマルチエージェントへの処理の振り分け
④外部ツール呼び出しによるログ取得と分析のエージェントの拡張
⑤チェーンエージェント（複数エージェントのチェーン）

高度なことは出来ない

SREとブラットフォームエンジニアリンググループと協力し、
前述の技術によるエラーログサマリ通知やRCA（障害根本原因特定）の仕組み作成を計画中

(LT) 生成 AI アプリケーション開発に評価の仕組みを導入して精度向上を実現した話：DB 設計レビュー自動化の取り組み