勉強しながら随時更新していきます。

AWSを用いた生成AI構築(CFnデプロイ込みで1時間)

AWS公式の生成AI体験ワークショップ。
ぽちぽちしてCloudFormationをdeployしてたらchat botなどが丸っと構築されている。

ひとまず生成AIを実際に体験したい人にはおすすめ。CFnテンプレートの他にCDKによるワークショップも用意されている。

　
生成AI体験ワークショップを進める上での詰まりポイントは下記に簡潔にまとめています。

LLM(chatGPT)のAPIを叩く(10分)

チャンク分解

pip installしたものたち

pip install langchain
pip install langchain_community
pip install langchain_openai
pip install chromadb

詳細は上記記事を読んでほしいのですが、私はこんな感じのコード書いて動作確認しました。

sample.py

import os
from openai import OpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain_community.vectorstores import Chroma
from langchain_openai import OpenAIEmbeddings

client = OpenAI(
    api_key=os.environ.get("OPENAI_API_KEY"),
)

# ------ado_wikiをコピーしてここに貼り付け------

text_splitter = RecursiveCharacterTextSplitter(
    chunk_size=1000, chunk_overlap=200
)

all_splits = text_splitter.create_documents([ado_wiki])

# for i,doc in enumerate(all_splits):
#     print(f'--------------------------{i}--------------')
#     print(doc.page_content[:500])
#     print('・・・')
#     print(doc.page_content[500:])

vectorstore = Chroma.from_documents(
    documents=all_splits,
    embedding=OpenAIEmbeddings(model='text-embedding-3-small')
)

print(vectorstore.similarity_search_with_score('ユニバーサル・スタジオ・ジャパンのイベント楽曲は?'))