0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

Vast.ai活用の例

Posted at

生成AIを始める際に生じるGPU利用に関する提案:
Certifiedではないというリスク(*詳細下記)を取ることによる実現できる環境の紹介。

何がわかる?

  • Certifiedでは無いということ
  • Vast.aiできること
  • 使い分け:リスクと予算のバランス

Certifiedでは無いということ

定義:https://docs.vast.ai/faq
抜粋翻訳:機密性の高いワークロードや本番環境のワークロードの場合は「セキュアクラウド」フィルターをチェックすることをおすすめします。青いデータセンターラベルをご確認ください。

ポイント:Vast.aiの仕組み上、GPUを提供するHost側にroot権限があります。 *意訳:データを覗き見しようと思えばできる権限が存在しているということ

できること:

リスクを理解した上で、Vast.ai環境を利用するケース
GPUのオンデマンド利用と支払い:使いたい時に使える。使った時間だけの支払い。同じ条件で、世界中の機器から選定できる。
例:公開されたモデルやアプリケーションを用いて生成したい。root権限があるRTX4090環境を5台。世界中から瞬時に手配する

使い分け

基本的な考え方:Cloud選定と同じだと考えています。
・機密性の高いワークロードや本番環境のワークロードの場合は、ローカルGPU環境もしくは、メジャーCloud業者(AWS・Azureなど)および国内データセンター業者。 *Vast.aiのCertifiedを選ぶ理由はないのでは無いでしょうか。
優先度:機密性>コスト

・リスクを理解した運用。公開されたモデルやアプリケーションを利用した生成
リスクとコストを鑑み、ケースによってはVast.aiの活用を検討
優先度:コスト>リスク管理

0
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
0
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?