概要
ローカル PC 上で AI チャットとして動作する NVIDIA Chat With RTX を Surface Laptop Studio 2 にインストールしてみました。購入した Surface は下記表に示すスペックであり、要求されるシステム要件をぎりぎり満たしていました。インストールだけして何もしない可能性がありますが、インストールと動作確認の手順を紹介します。
| # | 項目 | スペック |
|---|---|---|
| 1 | CPU | 13th Gen Intel(R) Core(TM) i7-13700H 2.90 GHz |
| 2 | RAM | 32.0 GB |
| 3 | GPU | NVIDIAFootnote® RTX™ 2000 Ada Generation Laptop GPU（8 GB GDDR6 vRAM） |
Chat With RTX とは
Chat With RTX とは、NVIDIA 社のホームページでは次のように紹介されています。ローカル環境のコンテンツに基づいて、いわゆる Copilot として動作するようです。
Chat With RTX は、独自のコンテンツ (ドキュメント、メモ、映像、その他のデータ) に接続された GPT 大規模言語モデル (LLM) をカスタマイズできるデモアプリです。検索拡張生成 (RAG)、TensorRT-LLM、および RTX アクセラレーションを利用して、カスタム チャットボットに質問することで、コンテキストに関連した回答を迅速に得ることができます。また、すべて Windows RTX PC またはワークステーション上のローカルで実行されるため、迅速かつ安全な結果が得られます。
引用元：Chat With RTX による独自 LLM の構築 | NVIDIA
紹介動画が YouTube にあります。
システム要件として次のように記載されており、GPU が必須です。
引用元：Chat With RTX による独自 LLM の構築 | NVIDIA
インストール手順
1. NVIDIA 社のホームページからインストールメディアをダウンロード
下記のサイトより、35 GB 程のサイズのファイルをダウンロードします。私の環境ではダウンロードに 3 時間ほどかかりました。
引用元：Chat With RTX による独自 LLM の構築 | NVIDIA
寝る前にダウンロードを開始させ、PowerToys の Awake 機能により画面をオンのままにして放置しました。
2. zip ファイルの解凍
この解凍に数分かかかりました。
3. setup.extを管理者として実行
4. システムチェック後、ライセンス規約に同意
5. インストール時のオプションをデフォルトのまま設定
6. インストールが完了することを待機
7. インストールが完了したことを確認
8. 初回起動時のセットアップの完了を待機
9. アプリケーションの起動を確認
動作確認
1. チャット投稿をしてみた
何者なのかを問い合わせてみましたが、期待した回答が実施されました。
Who are you?
I am an AI language model designed to assist users with information and tasks. I do not have a personality or emotions, and my responses are based solely on the information provided to me.
Reference files:
portal-prelude-rtx-inside-the-game-interview.txt
私は、ユーザーの情報やタスクを支援するために設計された AI 言語モデルです。私には人格も感情もありません。私の応答は提供された情報のみに基づいています。
参照ファイル:
portal-prelude-rtx-inside-the-game-interview.txt
上記の翻訳
2. PDF に関する質問を実施してみた
Databricks 社が提供している Spark の概要が記載されている PDF に基づいた質問を実施します。
引用元：A-Gentle-Introduction-to-Apache-Spark.pdf (databricks.com)
右上にある dataset のパスを確認して、datasetフォルダーと同階層にupload_datesetというフォルダーを作成してダウンロードした PDF を配置します。
右上にある dataset のえんぴつボタンを選択して、作成したupload_datesetフォルダーを選択します。
データセットとして読み込みに少し時間がかかりました。
読み込みが完了するとディレクトリが表示されました。
準備が完了したため、Spark とは何かという質問をしてみます。内容としては正しそうです。
What is Spark ?
Apache Spark is a unified computing engine and a set of libraries for parallel data processing on computer clusters. It is the most actively developed open source engine for this task and is considered the de facto tool for any developer or data scientist interested in big data. Spark supports multiple widely used programming languages and includes libraries for diverse tasks ranging from SQL to streaming and machine learning. It runs anywhere from a laptop to a cluster of thousands of servers and is easy to start and scale up to big data processing or incredibly large scale.
Reference files:
A-Gentle-Introduction-to-Apache-Spark.pdf
Apache Spark は、統合コンピューティング エンジンであり、コンピューター クラスター上で並列データ処理を行うためのライブラリのセットです。 これは、このタスク用に最も積極的に開発されているオープンソース エンジンであり、ビッグ データに関心のある開発者やデータ サイエンティストにとっての事実上のツールとみなされます。 Spark は広く使用されている複数のプログラミング言語をサポートしており、SQL からストリーミング、機械学習に至るまでのさまざまなタスク用のライブラリが含まれています。 ラップトップから数千台のサーバーのクラスターまで、どこでも実行でき、簡単に開始してビッグ データ処理や信じられないほど大規模なデータ処理にスケールアップできます。
参考ファイル:
A-Gentle- Introduction-to-Apache-Spark.pdf
上記の翻訳
PDF 内にほぼ同様の内容が記載されている箇所がありますが、文章が異なるためいい感じに解釈しているようです。
引用元：A-Gentle-Introduction-to-Apache-Spark.pdf (databricks.com)
3. YouTube の動画に関する質問をしてみた
右上の Dataset にて YouTube URLに変更後、URL を入力してDownload transcriptsを選択します。
データセットの読み込みがはじまります。
入力した URL は、Databricks の Unity Catalog に関する動画です。
Unity Catalog とは何かを質問してみます。いい感じの回答がかえってきました。
What is Unity Catalog ?
Unity Catalog is a data management platform that provides a centralized location for managing and organizing data assets, such as tables, views, schemas, and other metadata. It also provides account-level user management, which allows users to access their data across multiple workspaces. Unity Catalog also supports identity federation, which allows users to be federated across multiple workspaces, eliminating the need to manage users and groups at the workspace level. Additionally, Unity Catalog provides a number of other features, such as role-based access control, external location management, and integration with cloud storage devices.
Reference files:
Title: A Practitioner's Guide to Unity Catalog—A Technical Deep Dive
Channel: Databricks
Upload Date: 2022-07-19
Unity Catalog は、テーブル、ビュー、スキーマ、その他のメタデータなどのデータ資産を管理および整理するための一元的な場所を提供するデータ管理プラットフォームです。また、アカウント レベルのユーザー管理も提供され、ユーザーが複数のワークスペースにまたがってデータにアクセスできるようになります。 Unity Catalog は ID フェデレーションもサポートしています。これにより、ユーザーが複数のワークスペース間でフェデレーションできるようになり、ワークスペース レベルでユーザーとグループを管理する必要がなくなります。さらに、Unity Catalog は、ロールベースのアクセス制御、外部ロケーション管理、クラウド ストレージ デバイスとの統合など、他の多くの機能を提供します。
参照ファイル:
タイトル: Unity カタログの実践者向けガイド - 技術的な詳細
チャネル: Databricks
アップロード日: 2022-07-19
結論
Github Copilot など生成 AI のテクノロジーを活用せずにシステム開発をすることを想像できないぐらい浸透してきましたが、生成 AI のテクノロジーがローカル環境上で利用できるようことにとてもわくわくしています。NVIDIA Chat With RTX の開発が活発に実施されるかが不透明ですが、こういった新しいテクノロジーに触れる機会を作っていただけることに感謝しています。