はじめに
SnowflakeにSnowflake Cortex (LLM Functions)が搭載され、AIの機能が気軽に使用できるようになりました。
簡単に説明すると、対話、要約、翻訳等のタスクが、Snowflakeの組み込み関数を呼び出すだけで使えるというものです。
Streamlit (Streamlit in Snowflake/SinS)とも組み合わせることで、簡単なGUIと組み合わせたアプリも作成できます。
ここでは、対話を実現するCOMPLETE関数を用いて、ゆるーい自前チャットボットをカジュアルに作成してみました。
作ってみた
アカウント準備
Cortexが利用できるリージョンにアカウントを新規作成しました。
- クラウド : AWS
- リージョン : US West (Oregon)
- エディション : スタンダード
参考
事前準備
Snowsight上で操作します。
ウェアハウス、データベース、スキーマを作成します。
use role accountadmin;
create warehouse my_wh with warehouse_size='x-small';
grant usage on warehouse my_wh to role sysadmin;
use role sysadmin;
use warehouse my_wh;
create database test_db;
create schema test_schema;
対話のやり取りを記録するためのテーブル(履歴テーブル)を作成します。
create table test_db.test_schema.history (
role varchar,
message varchar
);
ここではSYSADMINロールを用いて、左のメニューより「+ > Streamlit App」を選択して、Streamlit Appを作成します。
Streamlit Appのコード
Streamlit Appのコード(Python)を作成します。
モデルはとりあえず「snowflake-arctic」を使ってみました。
今回の実装では、こちらから与えた事前情報を活用しつつ、過去のやりとりも踏まえて回答できるようにしています。
RAGの構成として含まれるベクトルデータベースといった実装は入れていないので簡易的なもの(プロンプトエンジニアリング)になります。
また、簡単な情報を与えてのやり取りを例に用いているため、token上限の制御は含んでおりません。
コード全体は空行含めて120行くらいで、少なめかと思います。
コード全体
import streamlit as st
from snowflake.snowpark.context import get_active_session
session = get_active_session()
if "chat_log" not in st.session_state:
st.session_state.chat_log = []
def get_chat_logs():
chat_log_list = []
dialog_format = "{{'role': '{user}', 'content': '{message}' }}"
results_df = session.sql("select * from test_db.test_schema.history").collect()
if not len(results_df):
return
for rows in results_df:
user = rows["ROLE"]
message = rows["MESSAGE"]
dialog = dialog_format.format(
user = user,
message = message
)
chat_log_list.append(dialog)
return ",\n".join(chat_log_list) + ","
def response_chat(input_info: str, message: str):
sql = """
select response:"choices"[0]:"messages" as ANSWER from(
select snowflake.cortex.complete(
'snowflake-arctic',
[
{{'role': 'system', 'content': '{input_info}' }},
{chat_logs}
{{'role': 'user', 'content': '{message}' }}
],
{{'temperature': 0.7}}
) as response
)
"""
caht_logs = get_chat_logs()
result = session.sql(
sql.format(
input_info = input_info,
chat_logs = caht_logs or "",
message = message
)
)
return result
def record_history(messages: dict):
for key in messages.keys():
role = key
content = messages[key]
sql = """
insert into test_db.test_schema.history
values (
'{role}',
'{content}'
);
"""
session.sql(
sql.format(
role = role,
content = content
)
).collect()
return
st.title("お試しチャットアプリ")
input_info = """
あなたは、次に記載する [事前情報] を元に質問に回答してください。
また、会話が進んでいく中で途中であなたが回答した内容や、userから指示されて追加した情報があれば、その履歴も活用して回答をしてください。
なお、回答には余計な解説等は含めず、単純明快、シンプルにお願いします。
[事前情報]
"""
st.markdown("## 事前情報")
input_info = input_info + st.text_area(
"",
"私の好きな物は、「カレー、プリン、コーヒー」です。"
) + "\n"
st.markdown("## チャット履歴")
user_message = st.chat_input("ここにメッセージを入力")
if user_message:
for chat in st.session_state.chat_log:
with st.chat_message(chat["role"]):
st.write(chat["content"])
with st.chat_message("user"):
st.write(user_message)
response = response_chat(input_info, user_message)
assistant_message = response.collect()[0]["ANSWER"].replace("\"", "")
st.chat_message("assistant").write(assistant_message)
st.session_state.chat_log.append({"role": "user", "content": user_message})
st.session_state.chat_log.append({"role": "assistant", "content": assistant_message})
record_history(
{
"user": user_message,
"assistant": assistant_message
}
)
参考
動作確認
作ってみたチャットアプリを動かしてみます。
初期画面
こんな感じです。
ここで、事前情報を少し変更してから始めてみます。
この時、「st.text_area」で編集したテキストは「Command + Enter(Macの場合)」を押さないと反映されないので忘れずに実行しておきます。
やりとり開始
メッセージを送ってみます。
いいですね。
続けてみます。
ここで、情報を加えるように指示してみます。
覚えてくれたようです。
では、改めて質問してみます。
覚えた情報を使いつつ、いい感じに回答できてますね。
好きなもののジャンル分けもOKですね。
ただ、若干変なところはありますが... (改行コード丸出しな点、「飲み物以外」がゲームだと答えた点)
レイアウトはPythonコード上の問題かと思うのでともかく、回答内容の日本語が変な部分は修正してもらいましょう。(圧)
ここでまさかの圧を掛けての軌道修正。
ちゃんと修正して再度回答してくれました。
素晴らしい...!
補足情報も付け足してみて、どう回答してくれるかを試してみました。
いい感じですね。
ある特徴について、与えた情報を使って回答してくれるかも確認してみました。
修正を指示して反映してくれる点も含め、理想的に動いてますね。
データの確認
履歴テーブル(history)を見てみます。
use role sysadmin;
use warehouse my_wh;
use schema test_db.test_schema;
select * from history;
こんな感じで保存されており、これらが次の回答に活用されている感じです。
では、これを削除してみます。
truncate table history;
select * from history;
過去のやりとりの記録(AIの記憶)がまっさらになってしまいました...!
この状態で先ほどと同じ質問を投げかけてみます。
想定通り、ちゃんと記憶もリセットされてますn...
！？
そんなわけないでしょう...
(「カレーは飲み物」という意見はなくはないですが、一旦置いておいて...)
変な回答は修正してくださいね、ということで。
直りましたね。
圧ですか？圧ですよ...
そして、追加した情報が消えていることも確認できましたね。
その他
ちなみに、そもそもリージョンがUSということもあり、さらにSnowsightの言語設定もデフォルト(英語)のままでして、それでこの日本語を前提とした実装をしていたのにもかかわらず、ごく自然に日本語に対応できているのはすごいですね。
ここで使用したAIモデル(snowflake-arctic)と何度かやりとりしましたが、素直に聞いてくれる時とそうでない時がそれぞれありまして、何度か軌道修正(圧掛け)をしていい感じに回答してくれるようになっていきました。
こちらのMedium models - snowflake-arcticの説明によりますと、
snowflake-arctic is Snowflake’s top-tier enterprise-focused LLM. Arctic excels at enterprise tasks such as SQL generation, coding and instruction following benchmarks.
「Arcticは、SQLの生成、コーディング、ベンチマークに従った命令などのエンタープライズタスクに優れています」ということで、このタスクにはあまり向いてなかった説ありますね。
(Snowflake Arcticさん、スミマセン...)
おわりに
Snowflake上で、アカウント作成直後のまっさらな状態から、非常に簡単にAIチャットボットが実装できるようになっていてビックリしました。
Streamlitとも統合されているので、簡単な画面なら気軽に実装して試せるのが素晴らしいですね。
Snowflakeといえばやはりメインはデータベース(DWH)なので、データベースとのやりとりもデフォルトでサクッとできるので、データを利活用したりチャット履歴を保存したりする際の親和性もバツグンですね。
以上です。