lightning.aiでOllamaを使用して話題のCommand R+を動かしてみた

はじめに

この記事では、AI開発プラットフォームであるLightning AIを活用して、Ollamaを介して大規模言語モデルCommand R+を操作するプロセスを詳しく解説します。特に、なぜLightning AIを選び、Ollamaを通じてCommand R+を操作するのか、その意義と利点を掘り下げていきます。読者はこの記事を通じて、最新のAI技術を用いたモデルの操作方法だけでなく、その適用が実際の開発フローにどのように役立つかを理解できるようになるでしょう。

lightning.aIとは

lightning.aIは、機械学習モデルのトレーニングからデプロイメントまでを一貫して支援するクラウドベースのプラットフォームです。このプラットフォームは、GPUを駆使した高速な計算能力を提供し、開発者が直面する多くの課題を解消するための高度なツールセットを備えています。

特に、Webブラウザ経由からでも、VSCodeやターミナルを通じての操作性に優れており、開発者はこれらの馴染みのある環境を利用して直感的に作業を進めることができます。これにより、コードの編集やデバッグ、AIモデルの管理まで、一貫したユーザーエクスペリエンスを提供します。これらのツールは、プロジェクトのセットアップから実行、監視に至るまでの全過程で直感的な操作が可能であり、開発の効率を大幅に向上させます。

公式サイトでさらに詳しい情報を確認することができます：lightning.aI 公式サイト

メール、Googleなどでアカウントの登録ができます。登録してから数日の営業日で環境を使えるようになりました。無料枠でも以下のような機能を試すことができます。

Command R , Command R+とは

Command R , Command R+は、Cohereの大規模言語モデルです。数十億のパラメータを持つこのモデルは、自然言語処理やテキスト生成において優れた能力を発揮します。Commandモデルの強化版として、より複雑なタスクを処理し、精巧で正確な応答を生成します。長文要約、会話、創作など多様なタスクをこなし、その柔軟性とパフォーマンスの高さで、言語処理の分野で新たな地平を開いています。

Command Rのセルフホスティングのテンプレートの利用

lightning.aIのテンプレートとしてCommand Rが用意されているので、そこから試してみました。その後に、Command R+を試していきました。

Studio Templatesのページで、モデル名で検索します。

このページのOpen in Studioのボタンをクリックすると、このテンプレートが開きます。

• GPUはL4が割り当てられている
• デフォルトでollamaはインストールされている
• サンプルのRAGのプログラム(app.py)が含まれている
• Streamlitで動作をすぐに確認できる

「+」でStreamlitを追加する

Stramlitのアイコンが追加されたらクリックする。

「+　New App」をクリックする。

Webアプリとして動作させたいapp.pyを左側で選択する。
Runをクリックしてアプリを実行する。

このようにWebアプリが起動する。起動したリンクはpublicで共有することも可能。

Browse filesでRAGしたいpdfファイルを指定する
引用元

こんな感じで、対象の文章からノウハウを抽出できた。

Command R+にモデルを変更する

このパフォーマンスだったら、Command R+も動作するのではと思い、試してみる。
ソースコードを編集する画面にもどり、app.pyの90行目のOllamaでモデルを指定しているところを変更する。

モデル名をcommand-r-plusに変更する。

ターミナルで「ollama push command-r-plus」を実行して、モデルをダウンロードする。
ダウンロードのスピードは、Google Colaboよりはやく感じた。利用者数の状況にもよるだろうが・・・。

同様にWebアプリで動作確認したところ、GPUがL4でも、時間はかかるがチャットボットから返事がかえってきた。

GPUの選定とパフォーマンス

無料枠でもA10G GPUに変更可能でした。パフォーマンスが大幅に向上しました。コストで消費するクレジットの数から、これを選択してみた。

GPUの選択アイコンをクリックしてA10Gを選択してConfirmする。プロジェクトはそのままで、スケールアップすることができる。すばらしい。

CPUでの選択肢は、上図のようになっていた。

GPUの使用率が爆あがりになるが数十秒で回答が返ってるスピード感であった。V100や有料版で複数GPUなどすると、もっとパフォーマンス良くに動くのだろうか・・・。

まとめ

Lightning AIを活用して、無料枠でもOllamaを用いたCommand R, Command R+を試す環境をスムーズに構築することができました。

環境の安定性とユーザビリティ

Google Colabとは異なり、Lightning AIでは作業環境がリセットされることなく継続的に使用できるため、長時間のトレーニングや実験が可能です。また、VSCodeやターミナルを使用した操作が可能で、開発者にとって非常に使いやすい環境が整っています。

開発とデプロイの環境

Lightning AIでは、PythonベースのWebアプリケーションを容易に公開して動作確認を行うことができます。これにより、実際のアプリケーションとしての動作テストが手軽に実行ができました。

環境設定の柔軟性

プロジェクトの要求に応じてGPUの種類や数を動的に調整可能です。スケールアップのプロセスと、最適なリソース配置の手順を確認しました。

感想

• この記事の投稿を通じて、将来のAI技術の進展に伴い、コンピューティングリソースを効果的に確保し管理することの重要性を改めて感じました。適切なリソースがあれば、AIのポテンシャルを最大限に引き出すことができます。
• AIやハードウェア技術の進化が続く中で、単に技術を使用するだけでなく、AIを活用した業務設計や要件定義の精度を高めることが、成功に向けてより重要になっていると実感しました。テクノロジーが進歩しても、その背後にある戦略的な思考が不可欠です。
• 学生時代、物理シミュレーションの計算を行うために、緊張しながら研究室の高価な計算機にSSHを使ってリモートログインし、計算を開始していたことを思い出しました。その時も、限られた計算リソースを確保するのに苦労していました。

参考

lightning.aiさん、GPUをつかわせてくれてありがとう。Command R+をセルフホストで動かすことができた！

無料枠では現時点では一月に15クレジットまで使用できる。使い切ったら、クレジットを別途上記のように追加購入もできるようだ。