GenAI Use case を1週間使ってみた感じ

Posted at 2024-09-15

背景

先日参加した AWS AI DAY のハンズオンで作った生成AIを触れる環境を1週間使ってみた感想を書いていこうと思う。

生成AIを使う上で、よく言われる気にしないといけない社外秘情報をAIの入力に使ってもいいのかという点は、Bedrockの説明ページにも記載されている通り、

モデルのコピーに対して入力されるので元モデルにフィードバックされない
AWS内のモデルとのやり取りは暗号化されているので盗聴されても解読されにくい
とのことです。
このことを考慮すると、会社のAWS契約でBedrockを使って生成AIを使った方がエンジニアの個人契約生成AIを許可くするより漏洩の危険性がないということだし、もしもの時のガードレールや問題特定がしやすいと感じた。

どういったものかを理解するという目的の前ではRAGはまだ早いと感じた、というのもRAG部分だけ固定費で一日数ドルかかってしまっているので検証にはハードルが高く感じた。また、マルチモーダルなのでこちらから資料を提示してから利用すれば、RAGチックに使うこともできそうだった。

非エンジニアへの説明資料の草案(パワーポイントの構成)生成
- どんなイメージ画像を張ったらいいか
- 説明の言い回し
  ここに関してはリテラシーレベルの低い人向けの説明は結局自身で作るしかないみたい
- 説明を行った際に出る質問とその回答
  ここに関してもリテラシーレベルの低い人向けの質疑を想定するのは難し見たい
QuickSightのデータセットを作る時の相談相手
- SQLの効率化や生成はかなり良い
  ダメもとでヒートマップ用のSQL聞いたらいい感じだった
- 機能に関しては少し弱い
  同構造の別データセットのUNIONはQuickSightとしてはサポートしていないのにそういう機能があるかのように説明された。(ハルシネーションを経験した、これはAmazon Qでも同様の回答だった)結局はJOIN後にCOALESCEしました
サービス用SNS投稿文言生成
- 利用しない方がいいワード、好ましいワード一覧の生成
- 文言の提案
- 候補から炎上リスクの考察
議事録作成
- 音声認識で話している人を識別して、だれが話しているか分けて台本みたいに書き出してくれる
- 書き出し性能は日本語に対してはよわい（Youtubeの自動字幕レベル）

参加した9月のAWS AI DAY 発表内容でもあったようにプロンプトで前もってどれくらいハルシネーションを許容するのかを考えプロンプトの調整は必要だし裏どりはまだ必須と感じた。
また、かなり便利なので使われないようにする必要がると感じた。