1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

流行りのGenerative AIを動かすのにも、Nutanixはいいぞという話

Posted at

これはNutanix Advent Calendar 2023 の17日目のエントリーです。師走ですなあ。30分で書くぞ!

ライブ告知

いきなりそれかよ。TECK x ROCK Festival 2023というライブイベントを12月23日にやります。出演者38人全員エンジニアというお祭りです。ヤギの人も出るよ!みんなきてね。

Nutanixに入社してそろそろ半年になりますが

なかなか楽しいです。いろいろカオスだったりもしますが、まだまだスタートアップっぽい雰囲気も強く、私のロールもわりとやりたい放題でいい感じです。
製品の内部実装を見ていくとこれまたなかなかのカオスだったりもしますが、多種多様なコンポーネントが複雑に連携して表面的には非常にシンプルにスケールするのを眺めていると、クラウドネイティブってこういうことだよなあ。と思ったりもします。
みたいなことを、先日のCloud Native Days Tokyo 2023で NutanixなんもわからんクラウドネイティブおじさんがNutanixの中の人になってみたら想像以上にクラウドネイティブ文字数 というお題でお話ししました。

流行りのGenerative AI

CNDTのセッションでも触れたのですが、Generative AIがもうね。これをバズってると言わずになんと言おう。Nutanixも、GPT-in-a-Box という、それ明らかに釣りタイトルでしょみたいなのを出してきましたが、そのへんの背景は昨日の@tknrszkさんの記事を読んでいただくとして。

AIの本質って

要はデータプロセッシングなわけです。70億パラメーターとかのLLMだとしても、やってることは超巨大な行列計算。
インフラおじさんたちはなぜかAIといえばGPU、みたいな方向に走りがちです。まあモデルをチューニングするとか、推論サーバーを立てるとかであればGPUも必要になったりはするのですが、そもそも一般企業のえらい人が株主向けに言ってる「AIの活用」って、本質的には「データの活用」なんですよね。
まあそのへんも昨日の@tknrszkさんの記事でまとめてくれているので、

で、Nutanixだとどうなるのよ

というのをめちゃめちゃ簡単に見せるデモを作ったので、そちらの紹介をもって本日のネタとしたいと思います。手抜き言うな。
CNDTのセッションでもちらっとお見せしたやつです。社内向けに書いてたざっくり構築手順とサンプルコードがあったのですが、べつに隠すもんでもないやろ。ということで公開してしまいます。こちら。

たとえばこんなことがやりたいとします。絵が雑ですまんな。
image.png
いわゆるRAGです。日本語でうまいことが言えるだけのひろゆきLLMに単に質問するのではなく、社内の機密情報からの類似性検索結果を一緒に与えることにより、「社内の機密情報を調べたうえで答えてくれる」ちょっと使えるひろゆきLLMにしようというわけです。
で、これをビジネスでやろうとすると、大事なのが左側の、青い矢印のところ。

  • データはナマモノなので、スケーラビリティや世代管理が必要になります。
  • もちろん機密文書なのでセキュリティも最優先で考えなければなりません。
  • 元データの追加・更新に追従して類似性検索DBもアップデートしていきたいので、この部分はServerlessでイベントドリブンに回したいところです。

というわけでざっくり、こんな置き方になるだろうなあと想像します。
image.png

イベントドリブンなパイプラインや、推論のサービングのところは、KubeFlowで一通り揃います。
ちゃんとNutanix版のKubeFlowもあります。

つまり、Nutanix+Kubernetes+KubeFlowなら、すぐに作り始められますね、と。

image.png

実際、私がこのデモ作るのに要した時間は半日程度です。まあもともと家のPCで似たようなことやってたからではあるんですが。
つまり、下回りにNutanixがあれば、2日目からはゴリゴリコード書いてRAGなりチューニングなりに集中できますよ、と。

良くない?

Nutanix社員であるということを抜きにしても、私は個人的に良いと思いました。いや、ちゃんとしたストレージサービスが備わってるってのはめちゃめちゃ楽ですよ。

というわけでメリークリスマス!

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?