Openshift Lightspeedを試してみた

初めに

この記事の投稿時点(2024/12/03現在）、Openshift LightspeedはTechnology Previewの段階のため、正式版がリリースされた場合に、下記で記載した内容が合わなくなる可能性がございます。

1. Openshift Lightspeedとは

OpenShift Lightspeed は、OpenShift Web コンソールに統合された生成 AI ベースの仮想アシスタントです。使用できるLLMの環境としては以下のものがあります。
・IBM WatsonX
・Microsoft Azure OpenAI
・OpenAI

2. 画面紹介（デモ）

1. Openshift Lightspeedを導入すると、WEBコンソールの右下に、「Lightspeed」のアイコンが表示されます。
   

2. そのアイコンをクリックすると、チャットボットの画面が開きます。テキストボックスにプロンプトを入力するとその回答が返ってきます。
   
   下記画面では、「What is Openshift imagestream used for ?」とプロンプトに入力した結果を表示しています。
   

3. 一部のリソース（Deployment,Pod,Service等々）の詳細画面で、チャット画面を開くと、プロンプトにそのリソースに関するコンテキストを追加することができます。
   テキストボックスの左の「＋」ボタンを押すと、いくつかのリストが出てくるので、その中から選択すると、質問のコンテキスト情報として追加できます。
   

3. 導入手順（概要）

1. OperatorHUbから「OpenShift Lightspeed Operator」を導入します。
   

2. LLMサービス(プロバイダー）に接続するためのAPIキー情報を記載したSecretを作成します。ここではIBM WatsonXの例を示します。

apikey-secret.yaml

apiVersion: v1
data:
  apitoken: <your_api_token>
kind: Secret
metadata:
  name: watsonx-api-keys
  namespace: openshift-lightspeed
type: Opaque

※はIBM Cloud上で取得したAPIキーをbase64エンコード化したものを指定してください。

3.LLMサービス（プロバイダー）の情報と使用するモデルを指定した、OLSConfigというカスタマーリソースを作成します。ここではIBM WatsonXのgraniteモデルを使用した例を示します。

config-cr.yaml

apiVersion: ols.openshift.io/v1alpha1
kind: OLSConfig
metadata:
  name: cluster
spec:
  llm:
    providers:
      - credentialsSecretRef:
          name: watsonx-api-keys
        models:
          - name: ibm/granite-13b-chat-v2
        name: myWatsonx
        type: watsonx
        url: 'https://jp-tok.ml.cloud.ibm.com'
        projectID: a285d952-2107-4cef-ad20-606ef8f21871
  ols:
    defaultModel: ibm/granite-13b-chat-v2
    defaultProvider: myWatsonx
---