生成AIを始める際に生じるGPU利用に関する提案:
Certifiedではないというリスク(*詳細下記)を取ることによる実現できる環境の紹介。
何がわかる?
- Certifiedでは無いということ
- Vast.aiできること
- 使い分け:リスクと予算のバランス
Certifiedでは無いということ
定義:https://docs.vast.ai/faq
抜粋翻訳:機密性の高いワークロードや本番環境のワークロードの場合は「セキュアクラウド」フィルターをチェックすることをおすすめします。青いデータセンターラベルをご確認ください。
ポイント:Vast.aiの仕組み上、GPUを提供するHost側にroot権限があります。 *意訳:データを覗き見しようと思えばできる権限が存在しているということ
できること:
リスクを理解した上で、Vast.ai環境を利用するケース
GPUのオンデマンド利用と支払い:使いたい時に使える。使った時間だけの支払い。同じ条件で、世界中の機器から選定できる。
例:公開されたモデルやアプリケーションを用いて生成したい。root権限があるRTX4090環境を5台。世界中から瞬時に手配する
使い分け
基本的な考え方:Cloud選定と同じだと考えています。
・機密性の高いワークロードや本番環境のワークロードの場合は、ローカルGPU環境もしくは、メジャーCloud業者(AWS・Azureなど)および国内データセンター業者。 *Vast.aiのCertifiedを選ぶ理由はないのでは無いでしょうか。
優先度:機密性>コスト
・リスクを理解した運用。公開されたモデルやアプリケーションを利用した生成
リスクとコストを鑑み、ケースによってはVast.aiの活用を検討
優先度:コスト>リスク管理