AI屋さんの dockerと200万トークン全文入力 追加学習済み LLMの Webアプリをクラウドデプロイ 実践編
多くのAI(≒python)屋さんは、
作ったサービスをデプロイする際、困っています。
そこで、簡単に下記の要素で解決しましょう。
AI、LLM、NN、各種モデルに
webアプリ、API（streamlit,gradio,flask）に
DB(SQL,NoSQL)、ストレージに
dockerに
クラウド、サーバーレスなど
を使うことで、独りで開発・運用・保守を行えます。
現在、pythonを使える人は最強です。
過去の開発環境の黒歴史も関係なく、
最新の開発環境とツールとpythonのみで一気通貫 開発できます。
例：docker HUB経由でwebアプリをデプロイの図
大規模言語モデルの プロンプトに
「吾輩は猫である」を全文入力した専門分野特化の
追加学習済みのＬＬＭを安価に共有する方法です。
完成ずみのwebapiを使って、
既にある、皆様のポータルサイトで呼び出したり
別途、独立サイトで運用したり 色々できます。
目次
流れとしては、
→ LLM開発（gemini）
→ Webアプリ開発（streamlit）
→ docker ビルド（準備中）
→ イメージプッシュ（準備中）
→ docker run（今回ここ）
→ クラウド サーバーレス（culoud run）
→ 完成
まずは、下記コマンドでdockerのコンテナを起動します。
中身は、streamlitがローカルで起動するだけです。
コンテナに入ってソースも見れます。
何もない雛形です。
docker run -d -p 8080:8080 bono0/st
http://
localhost:8080
開発したAIやwebアプリを dockerで固めて利用することが
出来ました。
ローカルのdockerで動けば、
あとは、クラウドのサーバーレスは コマンド一発です。
gcloud run deploy
で完成です。
クラウド品質の AIアプリを簡単にデプロイできます。
これで、多くのAI(≒python)屋さんは、
作ったサービスをデプロイできましたとさ。
メデタシ メデタシ
今回も無事に
AI屋さんの dockerと200万トークン全文入力 追加学習済み LLMの Webアプリをクラウドデプロイ 実践編
完成です。おめでとうございます。
ー完ー