AlexaでBedrockに質問をするスキル開発

はじめに

こちらは

• Alexa×BedrockでAWS最新ニュースキャッチアップアプリ コンセプト・設計
• AWS Lambdaで自作RSSリーダー開発
• Self hosted AWS LambdaによるAlexaスキル開発
• AlexaでBedrockに質問をするスキル開発 (本記事)

の連載記事です。前段の項目が完了していることを前提として書かれております。
本記事では以下のアーキテクチャの作成を目指して解説をしていきます。

Alexaとのやりとりのイメージは前回からの続きで、以下のような形を目指します。

必要となる知識

Alexaによる自由発話

今回、ユーザーからの自由な質問を受けることから、自由発話をAlexaで受け取る必要があります。
しかしながらAlexaは基本的には自由発話は想定しておらず、スロットのAMAZON.SearchQueryではキャリアフレーズと呼ばれる、文章の中に特定のキーワードを含むことが必要です。
そのため自由発話を受け取るためには少し工夫が必要になります。

Alexaで自由発話の受け取る方法についてはこれまで様々な議論が上がっておりましたが、以下のブログにあるように、ダイアログのデリケート(後述)を活用することで取得することが望ましいようです。

Alexa ダイアログのデリケート

オートデリケートとはインテントの処理を呼び出す前に、Alexa側でスロットの値が入っているのかを確かめるための機能です。値が入っていない場合にはあらかじめ設定して置いたフレーズをユーザーに返し、値を取得してからまとめてインテントの処理に送っていきます。

通常では以下のようなユースケースで効果を発揮します。

通常の使い方とはやや異なりますが、本記事に記載するアプリでもこの機能を活用します。
質問を投げかけるインテント処理の中で、質問処理を行うインテントのダイアログを展開し、スロット値を受け入れる状態にしておきます。（通常ユースケースで言うところの「いくついりますか？」の状態）
その状態でユーザーからの発話を受けることで、ユーザーの発話を全て取得することが可能になります。

開発

Alexaインテントの追加

インテントの作成
GUIからインテントを作っていきます。
※ JSONからも可能ですが、後続のダイアログの部分で自動でidが割り振られるため、GUIでの設定をお勧めします

スロットの作成
スロット名はquestion, スロットタイプにはAMAZON.SearchQueryを選択します。設定が完了したらダイアログの編集をクリックします。

ダイアログの編集
スロット入力をONにします。これをONにすることでオートデリケート機能を使うことができます。
Alexaの音声プロンプトは前述通常ケースの「いくついりますか？」に該当する部分ですが、インテント内から直接呼び出す場合にはこちらは作動しません。設定しないとエラーが出てしまうため、形式上設定しておきます。
ユーザーの発話には{question}というようにスロット名のみを入れておきます。

AWS Lambdaの構築

※前回の記事と重複する部分は一部省略

Lambdaレイヤー

• ask_sdk_core
  • Alexa SDK for Python
• urllib3<2
  • botocoreがurllib3 v2.0以降に対応していないためバージョンを抑えたurllib3の導入が必要
  • 参考
• boto3
  • v 1.28.84
  • Lambdaのboto3ではbedrockに対応していないためバージョンの高いboto3を導入する

Lambdaコードのデプロイ

lambda_function.py

lambda_function.py

# myfile
import dynamo
import bedrock
import speech_text_util

# library
from ask_sdk_core.handler_input import HandlerInput
from ask_sdk_core.skill_builder import SkillBuilder
from ask_sdk_core.utils import get_slot_value, is_intent_name, is_request_type
from ask_sdk_model import Response
from ask_sdk_model.ui import SimpleCard
from ask_sdk_model.dialog import ElicitSlotDirective
from ask_sdk_model import (Intent , IntentConfirmationStatus, Slot, SlotConfirmationStatus)

sb = SkillBuilder()


@sb.request_handler(can_handle_func=is_request_type("LaunchRequest"))
def launch_request_handler(handler_input):
    # type: (HandlerInput) -> Response
    speech_text = "本日の最新ニュースをお知らせします。"
    
    topics = dynamo.get_topics()
    count = len(topics)
    
    if count == 0:
        speech_text = "本日のトピックはありませんでした。"
    else:
        # セッションスコープとして値を格納
        attr = handler_input.attributes_manager.session_attributes
        attr["topics"] = topics
        
        # 返答の生成
        topic_titles = speech_text_util.get_topic_titles(topics)
        speech_text = speech_text + "本日は" + str(count) + "件のニュースがあります。\n" + topic_titles + "何番目のトピックを知りたいですか。"
    

    handler_input.response_builder.speak(speech_text).set_card(
        SimpleCard("AWS News", speech_text)).set_should_end_session(
        False)
    return handler_input.response_builder.response



@sb.request_handler(can_handle_func=is_intent_name("NewsTopicIntent"))
def news_topic_intent_handler(handler_input):
    # ユーザーから得た指定番号を取得
    topic_number = int(get_slot_value(handler_input=handler_input, slot_name="topic_number"))
    
    # セッションスコープにユーザーからの指定番号を格納
    attr = handler_input.attributes_manager.session_attributes
    topics_count = len(attr["topics"])
    
    if topic_number <= topics_count:
        attr["topic_number"] = topic_number
        
        # 指定番号の"description"を取得
        description = speech_text_util.get_description(topic_number, attr["topics"])
    
        # 返答の生成
        speech_text = str(topic_number) + "番ですね。" + description + "このトピックについて何か質問はありますか。"
        end_session = False
        
        # 特定のスロットの値を訪ねる
        # https://developer.amazon.com/en-US/docs/alexa/custom-skills/dialog-interface-reference.html#elicitslot
        directive = ElicitSlotDirective(
                slot_to_elicit="question",
                updated_intent = Intent(
                    name = "QuestionIntent",
                    confirmation_status = IntentConfirmationStatus.NONE,
                    slots ={
                        "question": Slot(name= "question", value = "", confirmation_status = SlotConfirmationStatus.NONE)
                    }
                )
            )
            
            
        handler_input.response_builder.speak(speech_text).add_directive(directive)
    else:
        speech_text = str(topic_number) + "番は範囲外です。" + str(topics_count) + "以下の番号で指定してください。"
        handler_input.response_builder.speak(speech_text)
    
    return handler_input.response_builder.response
    
    
@sb.request_handler(can_handle_func=is_intent_name("QuestionIntent"))
def news_topic_intent_handler(handler_input):
    # ユーザーから得た質問文の取得
    question = get_slot_value(handler_input=handler_input, slot_name="question")
    
    # セッションスコープから指定番号のトピックを取得
    attr = handler_input.attributes_manager.session_attributes
    index = int(attr["topic_number"]) - 1
    topic = attr["topics"][index]
    
    # bedrockに質問をリクエストして回答を得る
    answer = bedrock.ask_bedrock(topic, question)
    
    speech_text = answer + "こちらで終了します。"
    end_session = True
    
    handler_input.response_builder.speak(speech_text).set_card(
        SimpleCard("Fortune Telling", speech_text)).set_should_end_session(end_session)
    return handler_input.response_builder.response

@sb.request_handler(can_handle_func=is_intent_name("AMAZON.HelpIntent"))
def help_intent_handler(handler_input):
    # type: (HandlerInput) -> Response
    speech_text = "こんにちは。と言ってみてください。"

    handler_input.response_builder.speak(speech_text).ask(speech_text).set_card(
        SimpleCard("Fortune Telling", speech_text))
    return handler_input.response_builder.response


@sb.request_handler(
    can_handle_func=lambda handler_input:
        is_intent_name("AMAZON.CancelIntent")(handler_input) or
        is_intent_name("AMAZON.StopIntent")(handler_input))
def cancel_and_stop_intent_handler(handler_input):
    # type: (HandlerInput) -> Response
    speech_text = "またいつでも聞いてください"
    end_session = True

    handler_input.response_builder.speak(speech_text).set_card(
        SimpleCard("レポートくん", speech_text)).set_should_end_session(end_session)
    return handler_input.response_builder.response


@sb.request_handler(can_handle_func=is_request_type("SessionEndedRequest"))
def session_ended_request_handler(handler_input):
    # type: (HandlerInput) -> Response

    return handler_input.response_builder.response


@sb.exception_handler(can_handle_func=lambda i, e: True)
def all_exception_handler(handler_input, exception):
    # type: (HandlerInput, Exception) -> Response
    print(exception)

    speech = "すみません、わかりませんでした。もう一度言ってください。"
    handler_input.response_builder.speak(speech).ask(speech)
    return handler_input.response_builder.response

lambda_handler = sb.lambda_handler()

bedrock.py

bedrock.py

import boto3
import json

# Amazon Bedrock
bedrock = boto3.client('bedrock-runtime')

def ask_bedrock(topic, question):
    link = topic["link"]
    
    text = "Human: " + link + " \n上記のリンクを学習してください。学習した情報をもとに以下の質問に300文字程度で答えてください。\n「" + question + "」\nAssistant:"
    print(text)
    
    body = json.dumps({
        "prompt": text,
        "max_tokens_to_sample": 2014,
        "temperature": 0.1,
        "top_p": 0.9,
    })
    
    modelId = 'anthropic.claude-instant-v1'
    accept = 'application/json'
    contentType = 'application/json'

    response = bedrock.invoke_model(body=body, modelId=modelId, accept=accept, contentType=contentType)
    answer = json.loads(response.get('body').read())["completion"]
    
    print(answer)

    #回答にハイフンが含まれることがあり、Alexaが読んでしまうため削除。
    return answer.replace('-', '')

コード解説

ダイアログの呼び出し
以下のコードを使用して前段のインテント(NewsTopicIntent)で処理インテント(QuestionIntent)のスロットを呼び出しています。

https://developer.amazon.com/en-US/docs/alexa/custom-skills/dialog-interface-reference.html#elicitslot

@sb.request_handler(can_handle_func=is_intent_name("NewsTopicIntent"))
def news_topic_intent_handler(handler_input):
    :
    directive = ElicitSlotDirective(
        slot_to_elicit="question",
        updated_intent = Intent(
            name = "QuestionIntent",
            confirmation_status = IntentConfirmationStatus.NONE,
            slots ={
                "question": Slot(name= "question", value = "", confirmation_status = SlotConfirmationStatus.NONE)
            }
        )
    )
    :

Bedrock呼び出し
boto3のリファレンスに従って、bedrockのモデルを実行しています。ただしlambdaに入っているboto3ではbedrockのAPIに対応していないため、Lambdaレイヤーとして別途導入する必要があるので注意。

https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/bedrock.html

https://docs.aws.amazon.com/ja_jp/lambda/latest/dg/lambda-runtimes.html

ロール設定
以下のポリシーを追加します。

• Bedrockのモデル実行用ポリシー

bedrock-policy

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "bedrock:InvokeModel",
            "Resource": "*"
        }
    ]
}

Amazon Bedrock

使用するモデル
東京リージョンでも使用可能なClaude Instant v1.2を使用しました。初めて使う際には有効化申請が必要になります。

有効化
モデルアクセスから使いたいモデルを有効化します。Claudeモデルは初回に利用用途等のアンケートがあるので、それに回答をしてsumbitします。しばらくすると承認されてAccess Generatedになれば完了です。

コンソールから実行
TEXTからモデルを検証することができます。Lambdaから送信するメッセージをプロンプト経由でチューニングできます。

おわりに

以上でユーザーからの自由な発話をBedrockに送り、回答を得ることができました。
Alexaからbedrockが呼び出せるようになるとなかなか用途が広がりそうです。