はじめに

この記事では、VSCodeの拡張機能「Continue」とGroqのAPIを活用して、話題のllama3 70b を試してみます。特にエディタからLLMを呼び出す方法に興味がある方にとって、実用的なガイドとなる内容を紹介します。

Continueとは

-「Continue」は、ソフトウェア開発のためのオープンソースのオートパイロット(コーディング支援AIツール)です。

VS CodeやJetBrainsにChatGPTの力をもたらすIDE拡張機能であり、深くカスタマイズ可能に構築され、開発データから継続的に学習します。
詳細は https://continue.dev で確認できます。
デモの動画の参照先。

必要なツールと設定

Visual Studio Codeのインストール
Groqのアカウント作成：公式サイトからアカウント作成には、メールアドレスまたは、Googleアカウントを使うことができます！

導入手順

Continueのインストール

VSCodeの拡張機能タブで「Continue」を検索し、インストールします。

groqのAPIキー取得

groqCloudeからAPIキーを取得します。
「Create API Key」をクリックし、キーを生成して取得します。

groqのAPIをVSCodeに設定

VSCodeにContinueがインストールされた後、指定のアイコンから設定画面を開きます。
「+」をクリックしてgroqのAPIで選択できるモデルを追加する。

APIキーを入力し、使用するモデルを選択して保存。

vscodeの右下にモデルの追加が成功した通知される。

追加したモデルを選択する

使用例とデモ

Continueのチャット入力欄に質問を投げ、Groqで答えを得るデモを行います。
例えば、「インドカレーの作り方を教えて」と質問すると、爆速で叩きつけるような感じで回答が得られます。
コマンドやファイル参照機能を活用してさらに便利に。

htmlのコードについて、コメントを追記することをお願いしてみた。

自分の環境だとエラーにになってしまった・・。

まとめ

VSCodeの拡張機能「Continue」を用いて、GroqのAPIを経由することでLamma3 70Bを効果的に活用する方法を紹介しました。このツールを使えば、コーディング支援を受けながらさまざまなLLMを簡単に切り替えて使用でき、開発作業の効率を大きく向上させることが可能です。是非このガイドを参考に、応用してみてください。

感想

コード生成については、自分の環境ではうまくうごかなかったが、文章生成でも、爆速で動くだけでも素晴らしかったです。公式のWebサイトのプレイグラウンドでも、爆速感は体験できるのでぜひともやってみてください。LPUすげーな・・。未来を感じました。

参考文献

LPUを使った最速AI、「groq」はなぜ速い？他のLLMとの比較や使い方を紹介！
Groq's AI Chip Breaks Speed Records
GroqのCEO、ジョナサン・ロス氏は、2024年のワールド・ガバメント・サミット（ドバイ）で行われたインタビューで、同社の人間のようなAIチップの動作原理について説明しました。CNNのベッキー・アンダーソンがこの驚異的な技術と対話する様子も紹介されました。