はじめに
こんにちは！アキキー（@akikii__)です
生成AIアプリケーションに興味があり自分でもAmazon Bedrockを利用しています。
生成AIアプリケーションがどのように生まれているのか興味があったので、セッションを拝聴いたしました！
セッション
一人目の発表者
株式会社ベンジャミン
木村さん
- お客さんから「AWSのAI興味ある」と相談をうけた
- チャットツールを触ってみるだけだと面白くないので「付加価値」をつけたい
Bedrock KnowlageBaseを扱ってみる
- 外部情報の検索を組み合わせることで解答制度を向上させる技術
- Knowledge Baseが出た時から取り入れている
- コストをかけにように考えている
- OpenSearch Serviceは高い！Aurora Serverlessを利用することにした
- PineconeはAWS外なので除外した（お客様要望）
- プルダウンでRAGとLLMの解答を切り替えっれるようにした
コードのサジェスト機能（正式な名前は忘れちゃいました！すみません）
- Amazon QにもRAG機能がある
- お客様のコードを入れることにより、お客様のコーディングスタイルに合ったコードを提案できる
- コードをAIに読み込ませて大丈夫？の質問にしては、お客様のデータと分離できているからOK
- Q Developer Proを使うことにより、IAM Identity Centerを用いてアクセス性d減できる
2人目の発表者
株式会社ベンジャミン
松延さん
BedrockとTranscribeを組み合わせた議事録生成ツール
開発したきっかけ
- 業務効率性のため、社内生産性を2倍にする活動をしている
- 議事録に対しての熱い要望が多かった
- 会議の録画データが残っている
- 録画データをAmazon Transcribeを使って文字起こし→ Bedrockで要約
概要
- オンライン会議ツールから出力した録画ファイルをWeb画面からアップロードすることで、文字起こししている
- 出力はNotionページへ出力→Slackチャンネルに通知している
利用イメージ
- ① 録画ファイルをアップロード
- ② 録画ファイルの音声データから文字起こし、議事録作成
- ③ 議事録をNotionページへ出力
- ④ Slackチャンネルにて利用者へつうt
使ったAWSサービス
- Bedrock
- Amplify Gen2
- Cognito
- S3
- EventBridge
- Step Functions
- Transcribe
- DynamoDB
- Lambda
AWS構成
- S3アップロードしたらEventBridgeにてStep Functionsワークフローを起動
- Transcribeで文字起こしして
- Lambdaでプロンプト生成
- Bedrockで議事録生成
- Lambdaで議事録出力
- プロンプトはDynamoDBに登録している
工夫した点
- IaC化
- 利点を活かしてAWSリソースを管理している
- フロントエンド: Amplify Gen2 (CDK)
- バックエンド: CDK for Python
- ローコード開発
- Step Functionsでワークフローを組んでいる
- 失敗箇所をグラフビューで見ることができるのでデバッグがやりやすい
- プロンプトチューニング
- プロンプト用のテンプレートをDynamoDBテーブルで管理している
- Lambdaの中でハードコーディングすると後々回収が大変なので、外に出している
- コンソール上からプロンプトチューニングできる
- モデルもDynamoDBに登録しているので、モデルも容易に変更可能
今後実装予定の機能
- 話者分離機能
- 誰がどのように発言したのかを反映
- Transcribeでは最大10名まで
- 議事録の制度をスコアリング
補足
- 生成AIスマート議事録サービスの記事も出ている
感想
生成AIを利用した製品はどんどん増えていますが、製品の具体的な中身を知ることができる貴重な機会でした
自分も個人で生成AIアプリケーションを開発しているので、参考になる部分が多々ありました！！