これはNutanix Advent Calendar 2023 の17日目のエントリーです。師走ですなあ。30分で書くぞ！
ライブ告知
いきなりそれかよ。TECK x ROCK Festival 2023というライブイベントを12月23日にやります。出演者38人全員エンジニアというお祭りです。ヤギの人も出るよ！みんなきてね。
Nutanixに入社してそろそろ半年になりますが
なかなか楽しいです。いろいろカオスだったりもしますが、まだまだスタートアップっぽい雰囲気も強く、私のロールもわりとやりたい放題でいい感じです。
製品の内部実装を見ていくとこれまたなかなかのカオスだったりもしますが、多種多様なコンポーネントが複雑に連携して表面的には非常にシンプルにスケールするのを眺めていると、クラウドネイティブってこういうことだよなあ。と思ったりもします。
みたいなことを、先日のCloud Native Days Tokyo 2023で NutanixなんもわからんクラウドネイティブおじさんがNutanixの中の人になってみたら想像以上にクラウドネイティブ文字数 というお題でお話ししました。
流行りのGenerative AI
CNDTのセッションでも触れたのですが、Generative AIがもうね。これをバズってると言わずになんと言おう。Nutanixも、GPT-in-a-Box という、それ明らかに釣りタイトルでしょみたいなのを出してきましたが、そのへんの背景は昨日の@tknrszkさんの記事を読んでいただくとして。
AIの本質って
要はデータプロセッシングなわけです。70億パラメーターとかのLLMだとしても、やってることは超巨大な行列計算。
インフラおじさんたちはなぜかAIといえばGPU、みたいな方向に走りがちです。まあモデルをチューニングするとか、推論サーバーを立てるとかであればGPUも必要になったりはするのですが、そもそも一般企業のえらい人が株主向けに言ってる「AIの活用」って、本質的には「データの活用」なんですよね。
まあそのへんも昨日の@tknrszkさんの記事でまとめてくれているので、
で、Nutanixだとどうなるのよ
というのをめちゃめちゃ簡単に見せるデモを作ったので、そちらの紹介をもって本日のネタとしたいと思います。手抜き言うな。
CNDTのセッションでもちらっとお見せしたやつです。社内向けに書いてたざっくり構築手順とサンプルコードがあったのですが、べつに隠すもんでもないやろ。ということで公開してしまいます。こちら。
たとえばこんなことがやりたいとします。絵が雑ですまんな。
いわゆるRAGです。日本語でうまいことが言えるだけのひろゆきLLMに単に質問するのではなく、社内の機密情報からの類似性検索結果を一緒に与えることにより、「社内の機密情報を調べたうえで答えてくれる」ちょっと使えるひろゆきLLMにしようというわけです。
で、これをビジネスでやろうとすると、大事なのが左側の、青い矢印のところ。
- データはナマモノなので、スケーラビリティや世代管理が必要になります。
- もちろん機密文書なのでセキュリティも最優先で考えなければなりません。
- 元データの追加・更新に追従して類似性検索DBもアップデートしていきたいので、この部分はServerlessでイベントドリブンに回したいところです。
というわけでざっくり、こんな置き方になるだろうなあと想像します。
イベントドリブンなパイプラインや、推論のサービングのところは、KubeFlowで一通り揃います。
ちゃんとNutanix版のKubeFlowもあります。
つまり、Nutanix+Kubernetes+KubeFlowなら、すぐに作り始められますね、と。
実際、私がこのデモ作るのに要した時間は半日程度です。まあもともと家のPCで似たようなことやってたからではあるんですが。
つまり、下回りにNutanixがあれば、2日目からはゴリゴリコード書いてRAGなりチューニングなりに集中できますよ、と。
良くない？
Nutanix社員であるということを抜きにしても、私は個人的に良いと思いました。いや、ちゃんとしたストレージサービスが備わってるってのはめちゃめちゃ楽ですよ。
というわけでメリークリスマス！