AI屋さんの　LLMに２００万トークン全文入力と「ずんだもん」とサーバーレスと私　実践編

LLMとvoicevoxとstreamlitとdockerとcloud runで
LLMに２００万トークン全文入力　追加学習ずみの専門分野特化のLLMの作り方

完成イメージ
お喋り　ずんだもん先生　の「吾輩は猫」なのだ。

https://
zunda-ghc4uieygq-an.a.run.app

ずんだもん先生　のためにvoicevoxのサーバーを　サーバーレスに　dockerイメージをデプロイしてみましょう。
簡単です。

dockerイメージを指定してあげます。
ポートは　50021　です。
メモリは　2ギガ以上　推奨です。

いくつか　注意点
とっても簡単なのは良いのですが、あまりにも簡単すぎます。
機会があれば、サーバーありで建てるのも楽しいです。
ダウロードして、fastAPIとWEBサーバーを起動するだけです。
あと、実践派としてはローカルの物理マシンが現実的な場合も多いかもしれません。むしろ前回の方が近いです。

そうこうしている内に、あっという間にデプロイ完了です。
もはや、チート技です。

クラウドにも、動く環境を構築できました。

　→voicevox　ローカル
　→pythonで　実行
　→voicevox　クラウド（今回ここ）
　→pythonで　実行
　→streamlit　クラウド
　→完成

クラウドに、ずんだもん先生のための　voicevox サーバーが完成です。
中身は、pythonの　fastAPI　で出来ています。
あとは、使うだけですね。

動作確認は、前回と同等です。
URLだけ修正です。

公式　取説参照

echo -n "こんにちは、音声合成の世界へようこそ" >text.txt

curl -s
-X POST
"127.0.0.1:50021/audio_query?speaker=1"
--get --data-urlencode text@text.txt> query.json

curl -s
-H "Content-Type: application/json"
-X POST
-d @query.json
"127.0.0.1:50021/synthesis?speaker=1"> audio.wav

無事に、音声ファイルが出来ていれば
ずんだもん先生の完成です。

念の為、pythonで書いたらこんな感じです。

import requests
import json

url_query = "http://127.0.0.1:50021/audio_query?speaker=1&text=こんにちは、音声合成の世界へようこそ" # httpを追加
response_query = requests.post(url_query)

url_synthesis = "http://127.0.0.1:50021/synthesis?speaker=1" # httpを追加
headers = {"Content-Type": "application/json"}
response_synthesis = requests.post(url_synthesis, headers=headers, json=response_query.json()) # jsonパラメータを使用

if response_synthesis.status_code == 200:
with open("audio.wav", "wb") as f:
f.write(response_synthesis.content)
print("Successfully generated audio.wav")

あと、pythonのwebアプリ・webapiの　streamlit、fastAPI、flask、gradio、flet　なども　ポート８０８０で起動する設定でdockerイメージにしてから　サーバーレスへデプロイする方法は　どれも今回とほぼ一緒です。web画面をポチポチするだけの簡単操作です。
サーバーレスなのでゼロ円〜、維持もメンテもクラウド任せ、超ニッチ用途のクラウドサービスも気楽に建てまくれます。
遍く、自分専用LLMとお喋りしながら　お仕事できます。

もはや、pythonひとつで　概ね全部作れそうな気がします。
何処かの誰かが勝手に作った仕組みですが、サービスの範囲内の利用であれば、知っていると圧倒的に便利です。

AI屋さんが独りで　開発、運用、保守　を簡単に行えます。
是非、皆さんもお試しください。

目次

無事に

　AI屋さんの　LLMに２００万トークン全文入力と「ずんだもん」とサーバーレスと私　実践編

完成です。おめでとうございます。

ー続くー