0
0

皆で使おう 専門分野特化のLLM streamlitでインターネットで公開!!!

Last updated at Posted at 2024-09-16

皆で使おう 専門分野特化のLLM streamlitでインターネットで公開!!!

追加学習済みのLLMを安価に共有する方法です。
完成ずみのwebapiを使って、
既にある、皆様のポータルサイトで呼び出したり
別途、独立サイトで運用したり 色々できます。

完成イメージ

スクリーンショット 2024-09-16 9.50.25.png

https://
bono0-ghc4uieygq-an.a.run.app

前回までの24

第四回:追加学種済み LLMのwebapiをクラウドデプロイ

第三回:追加学習済み LLMのwebapiを作る

第二回:大規模言語モデルの簡単な追加学習、実践編

第一回:大規模言語モデルの簡単な追加学習

webアプリの作り方は 多々あります。
今回は、AI屋さんならではの 超簡単streamlitで デプロイです。

内容的には、実質一行のみ
第一回目のhttpリクエストと同じです。

スクリーンショット 2024-09-16 14.41.16.png

あとは、デプロイのみです。
上記は、

 クラウドのサーバーレスに デプロイしてみましたが、
 他にも、サーバーあり(≒普通の仮想マシン)や
 特定業者のSaaSや
 物理マシンなど

色々選べます。
既存の環境があって相乗りできればお安く済みますし
10年運用が想定されれば、物理マシンも良いかと思います。
マシンが一つあれば、稼働率の低いであろう
 専門分野特化のLLM * n個
などのサービスにはもってこいです。

更に、ローカルLLMなら完全独立できます。
企業さんによっては、データーを内部に維持するために
ローカルLLM マストのケースもあると思います。
その場合、当然webapiもwebアプリも ローカル物理マシンです。

サーバーレスは、特定の業者の特定のサービスに大きく依存します。
何処かの誰かが勝手に作ったサービスが
数年後に、維持されていない可能性を考慮すると、
忘れた頃に移植作業する羽目になるくらいならば、
初めから物理マシン も魅力的です。

無事に
 皆で使おう 専門分野特化のLLM streamlitでインターネットで公開!!!
今回も完成です。おめでとうございます。

次回は、flaskでhtml編ですかね。

ー続くー

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0