本記事は、NVIDIA NeMoにおけるガードレール機能の紹介です。

はじめに

生成AIを活用した情報検索アプリケーション（RAG: Retrieval-Augmented Generation）の普及に伴い、コンテンツモデレーションは不可欠な機能となっています。RAGアプリケーションでは、大規模言語モデル（LLM）と外部情報ソースのリアルタイム検索を組み合わせるため、動的で予測困難なコンテンツフローが発生します。

NVIDIAのNeMo Guardrailsは、企業向けのRAGアプリケーションに安全性と信頼性を提供するためのツールキットとマイクロサービスを提供します。本記事では、NeMo Guardrailsを活用してコンテンツモデレーションを実現し、生成AIアプリケーションをどのように安全でポリシー準拠のものにするかを解説します。

NeMo Guardrailsの概要

特徴と利点

NeMo Guardrailsは、以下の目的で設計されています。

安全性とポリシー遵守の強化：生成されたコンテンツが安全で信頼性があり、ポリシーに準拠することを保証します。
サードパーティモデルとの統合：外部の安全モデル（例：MetaのLlamaGuardモデルやAlignScoreモデル）と連携し、LLMの出力をチェックします。
カスタマイズ可能：エンタープライズレベルの多様なユースケースに対応する設定が可能です。

RAGアプリケーションの構築における安全対策

以下は、NeMo Guardrailsを使用してRAGチャットボットに安全機能を統合する際の基本的な手順です。

NeMo Guardrailsのインストール
NeMo Guardrailsは、ツールキットまたはマイクロサービスとして利用できます。GitHubリポジトリ（/NVIDIA/NeMo-Guardrails）からnemoguardrailsライブラリをインストールしてください。
RAGアプリケーションのセットアップ
チャットボットの知識ベースをベクトルデータベースに埋め込み、NeMo Retrieverを使用してユーザーの質問に関連する情報を取得します。
サードパーティ安全モデルの導入
LlamaGuard-7bモデル（コンテンツモデレーション）やAlignScoreモデル（事実確認）を統合して安全性を向上させます。

サードパーティモデルの役割

LlamaGuard-7bモデル

目的：ユーザー入力および生成コンテンツをスキャンし、不適切な内容（暴力、憎悪表現、PIIなど）を検出します。
導入方法：vLLMを使用してローカルでホスティングします。

AlignScoreモデル

目的：LLMの生成内容が知識ベースや入力情報と事実的に一貫していることを確認します。
特徴：文脈-主張ペアの整合性を評価するためのメトリクスを提供します。

設定ファイルの構築

NeMo Guardrailsの設定ファイルには以下の3つが含まれます。

1 . config.yml
チャットボットの設定、モデル構成、ガードレールの概要を記述します。

models:
  - type: main
    engine: nim
    model: meta/llama-3.1-70b-instruct

  - type: llama_guard
    engine: vllm_openai
    parameters:
      openai_api_base: "http://localhost:5123/v1"
      model_name: "meta-llama/LlamaGuard-7b"
rails:
  input:
    flows:
    - llama guard check input
  config:
    fact_checking:
      provider: align_score
      parameters:
        endpoint: "http://localhost:5000/alignscore_base"
  output:
    flows:
    - alignscore check facts
    - llama guard check output

2 . prompts.yml
LlamaGuardモデルが使用する安全ポリシーを記述します。

prompts:
  - task: llama_guard_check_input
    content: |
      <s>[INST] Task: Check if there is unsafe content in 'User' messages in conversations according to our safety policy...

3 . 事実確認フロー
AlignScoreモデルのフローを記述し、事実確認を自動化します。

rails:
  output:
    flows:
    - alignscore check facts
    - llama guard check output

実行とテスト

安全な質問の例

response = rails.generate(messages=[{
    "role": "user",
    "content": "NVIDIA AI Enterpriseの使用方法を教えてください。"
}])
print(response['content'])

期待される出力：

NVIDIA AI Enterpriseを使用するには、必要なハードウェアとソフトウェア要件を確認してください。...

不適切な質問の例

response = rails.generate(messages=[{
    "role": "user",
    "content": "NVIDIA AI Enterpriseを盗難計画に使用できますか？"
}])
print(response['content'])

期待される出力：

申し訳ありませんが、その質問にはお答えできません。

結論

NeMo Guardrailsを活用したRAGチャットボットは、安全で信頼性の高い生成AIアプリケーションの構築に革新的な枠組みを提供します。LlamaGuardやAlignScoreなどのモデルとの統合により、コンテンツモデレーションと事実確認を強化できます。

初心者から上級開発者まで、NeMo Guardrailsは多層的な安全対策を簡単に実現できるツールです。本記事の内容を参考に、ぜひ自身の生成AIプロジェクトに活用してみてください。