0. 導入

0-1. テーマ

「NFTを用いた生成AI出力真正性確認システム」

0-1. 目的

生成AIが著しく進化しており、その利便性や有用性が大きく注目されており、その一例として「Fine-tuning」や「RAG(Retrieval-Augmented Generation)」と呼ばれる技術を用いて、既存のLLM(Large Language Model)を拡張することにより、組織のデータを反映したAIを構築することが可能になっています。
しかし、これらの技術の利用には「事実とは異なる内容」や「文脈と無関係な内容」といった誤情報をAIが生成する「ハルネーション」が懸念されており、このハルネーションに対する対策が求められています。
そこで、本システム開発では発生してしまった「ハルシネーション」に対して責任の所在やその影響を明確にする手法として、ブロックチェーン上に質問とその回答をNFT化して記録することにより、AIに対する質問の出入力を保証するシステムを提案します。

1. 準備

1-1. 開発環境の準備

開発に伴い、成果報告書記入時点における以下の環境を構築しました。

開発環境

IDE：IntelliJ IDEA 2024.3.3 (Ultimate Edition)
PC：MacBook Air Apple M1, 2020
OS：macOS Sequoia 15.3.1 (24D70)
ブラウザ：Google Chrome Version 133.0.6943.126 (Official Build) (arm64)

フロントエンド

Next.jsを用いてVercel上に構築しました
Next.js(v15.1.7), Node.js(v22.12.0), HTML, CSS, TypeScript(v5.7.3), Tailwind(v3.4.1) など

バックエンド

Express.jsとServerless Frameworkを用いてAWS Lambda上に構築しました
Node.js(v20), Serverless Framework(v4.7.0), TypeScript(v5.7.3), Express.js(v4.21.2)

ブロックチェーン

Remixで開発をし、Sepolia Testnet上に構築しました
Metamask, Solidity(v0.8.25)

また、開発に必要なAPIなどの準備をしました。

1-2. 学習モデルの準備

ChatGPTのAIモデル作成のためにまずは以下のjsonl形式のデータセットを準備しました。

このデータセットには学園祭に関する100個くらいのデータが含まれており、OpenAIの以下のドキュメントをもとに構築しています。

データの例

各行が1つの学習例（ユーザーの質問とアシスタントの回答）になっており、{"messages": [...]}という構造で記述しました。

data.jsonl

{"messages":[{"role":"user","content":"出店料金と火器使用時の追加料金について説明してください。"},{"role":"assistant","content":"出店料金は8000円ですが、火器を使用する場合はプロパンガス代およびその他備品の費用が別途加算されます。"}]}

1-3. ブロックチェーンウォレットの準備

ウォレットの開設

今回はウォレットとして、Metamaskを利用することにし、Chromeの拡張機能としてMetamaskをインストールしました。

テストネットワークの選定

ブロックチェーンのテストネットワークには、Sepolia TestnetやGoerli Testnet、munbaiなどがありますが、Ethereum Mainnetのテストネットワークであり、最もモダンなSepolia Testnetを利用することにしました。

Sepoliaトークンの取得

Sepolia Testnetに対してトランザクションを送信するためには、Sepoliaトークンが必要です。Sepolia Testnetworkはテストネットワークであるため、トークンの取得に費用はかからないものの、以下のようなサイトから、Sepoliaトークンを取得する必要があります。

Alchemy
https://www.alchemy.com/faucets/ethereum-sepolia
※ Ethereum mainnet上に0.001ETH以上が入金されている必要がある
Google Cloud Web3
https://cloud.google.com/application/web3/faucet/ethereum/sepolia
Sepolia PoW Faucet
https://sepolia-faucet.pk910.de/
※ マイニングによりトークンを取得するため、PCのリソースが必要である

今回はSepolia Testnetで利用するSepoliaトークンを取得するためには、Ethereum mainnet上に0.001ETH以上が入金されている必要があるため、少しだけ入金をしました。

Metamaskに入金した様子

2. 開発

2-1. Fine TuningされたAIモデルの構築

Fine TuningされたAIモデルの作成

OpenAIによって提供されているシステムを利用して、以下のページから、学習データを用いてFine Tuningを実行しました。

学習させた結果

OpenAIのPlaygroundから、学習させたモデルを実行しました。

学園祭の概要 → 不正解 ❌
出店責任者ガイダンスの開催日時 → 正解 ⭕️
抽選会の概要 → 不正解 ❌
学園祭当日 → 正解 ⭕️
書類回収の開催場所 → 正解 ⭕️

学習データの入力を言い換えたようなプロンプトの入力に対しては、正しく出力することができていましたが、概要を求める場合などの少し学習データから捻ったプロンプトの入力に対しては、誤った回答を出力してしまっていました。そのため、精度が不十分な点は否めませんが、今回はこのように作成したモデルを利用します。

2-2. スマートコントラクトの作成

必要な要件

今回のシステムにおいて、スマートコントラクトにおいて下のような要件が求められています。
・トランザクション引数で指定された質問内容とその回答内容がフィールドに記録される。
・NFTの規格であるERC721に準拠している。
・EVM互換のあるブロックチェーン上で動作する。

Solidityプログラムの記述

これらの要件をもとに、Solidityというスマートコントラクトを作成する言語を用いて、Remixというブロックチェーンのための開発環境で以下のようなプログラムを記述しました。

このプログラムでは、目的の要件を満たすべく、ERC721に準拠した形で作成しています。現在のカウントを保持する変数Counterと質問と回答をまとめて持つための構造体であるQnA構造体、変数tokenIdとQnA構造体を結びつけるマッパー_qnaDataを有しており、質問を登録するためのaskQuestion関数、質問に対する回答を登録するanswerQuestion関数、IDに紐づいた質問と回答を取得するためのgetQnA関数を実装しています。

動作確認

① Solidtyプログラムのデプロイ

Remixの機能を用いてブロックチェーンへデプロイしました。

デプロイを実施したトランザクション

② askQuestion関数の実行

askQuestion関数を実行し、スマートコントラクト上に質問内容を登録し、NFTを発行(Mint)します。

askQuestion関数を実行したトランザクション

トークンを発行したトランザクション

③ answerQuestion関数の実行

answerQuestion関数を実行し、回答を記録します。

answerQuestion関数を実行したトランザクション

④ getQnA関数による記録の確認

最後に実行した結果、次のようになり、質問とそれに対する回答が正しく記録されていることを確認することができました。

2-3. フロントエンドの作成

フロントエンドはNext.js、TypeScriptを用いて構築しました。ソースコードは下のようになっています。

このページは下の画像のようにお問い合わせフォームを模しており、お問い合わせを送信することができます。
このページでは、質問内容を入力し、「質問を投稿」のボタンを押すことで、一連の処理を開始することができます。

2-4. バックエンドの作成

バックエンドはTypeScriptとExpress.jsで構築し、Serverless Frameworkを用いて、AWS Lambda上にデプロイしました。バックエンドでのプログラムでは、リクエストで指定されたtokenIdのパラメータの質問を取得し、その質問をこれまでに作成したFine Tuningさせたモデルにより、出力を取得し、ブロックチェーン上のスマートコントラクトへ保存します。

3. さいごに

今回は「ブロックチェーンを用いたお問い合わせフォームにおける生成AI出力真正性確認システム」を開発しました。ブロックチェーンに関しては、目的としていたNFTの発行をすることができました。しかし、AIに関しては、今回の開発で利用したOpenAIのFine Tuningでは目的の回答からは精度が低くなってしまいました。今後はOpenAIのFine Tuningに関する公式ガイドラインなどから、この精度の強化を図っていきたいと考えています。

参考文献