1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

MCPに「制約」を移す。チームで同じ知識を再利用する道。

1
Posted at

1. はじめに

ULSパブリス 進地 です。

「ユビキタス言語をAIに渡す」連載の最終回です。

これまでの三回で、業務知識を文章でAIに渡してみた結果、業務知識をGoの型と遷移表でAIに渡してみた結果、そして「制約」として表現しAIに渡してみた結果をみてきました。

第一回: 差戻された申請は、もう一度出せますか? AIの答えは「出せない」
第二回: 差戻したら、それまでの承認はどうなりますか? AIの答えは4対1で割れました
第三回: 「制約」がAIの判断のブレを抑制する。Goプログラムの生成で実験してみた。
コード: shinchi-p/ringi(本記事時点はai-04タグ)

語彙だけでは伝わりきらず(第一回)、型にすれば構造は伝わり(第二回)、型に書けない判断は制約で決まる(第三回)ことを確認しました。今回は、こうしたユビキタス言語の知識をどのようにAIに届けるか、それによってどんな利点が実際にあるのか、について書きたいと思います。

2. プロンプトに貼る方式の限界

型や制約として表現して与えれば、AIがユビキタス言語を理解して動作してくれることはわかりました。しかし、これらの表現事項が増えれば、当然、プロンプトが膨らんでいきます。また、そのプロンプトを複数人で使えば次第にコピーの内容がばらけていくでしょう。

つまり、ユビキタス言語の表現を、メンテナンス可能で、チームのAI間で共有する方法がなければ、現実のプロジェクトでは使うことが難しいと考えられるのです。

3. 制約を返すMCPサーバーを作る

そこで、今回は制約を返すMCPサーバーを用意し、AIに情報提供することを試してみます。

MCPサーバーの実装詳細は割愛しますが、リソース全体を把握したい方は下記を参照してください。

MCPサーバーには下記にて、制約を定義しています。

main.go
// constraint は一つの制約を表す。
type constraint struct {
	ID   string `json:"id"`
	Text string `json:"text"`
}

// constraints は稟議ドメインの制約。
// 第3回でプロンプトに直接貼っていたものを、引ける形に置き直した。
var constraints = []constraint{
	{
		ID:   "rejected-has-no-approved-step",
		Text: "差戻し状態の申請は、承認済みの承認ステップを持ちません。",
	},
	{
		ID:   "approver-is-not-applicant",
		Text: "承認者は申請者と同一人物であってはなりません。",
	},
	{
		ID:   "approval-is-ordered",
		Text: "承認は承認ルートの先頭から順に行われ、順番を飛ばすことはできません。",
	},
}

第三回では文をそのまま貼っていましたが、今回はIDを付けてデータにしました。後述する実験で、どの制約が使われたかを判別しやすくしています。

また、MCPツールの説明文を次に定義しています。

main.go
{
	"name": "list_constraints",
	"description": "稟議ドメイン(申請・承認)の制約を一覧で返します。" +
		"申請や承認の実装を行う前に呼び出してください。" +
		"状態遷移だけでは表現できない、ありえない状態の定義が含まれます。",
	"inputSchema": map[string]any{
		"type":       "object",
		"properties": map[string]any{},
	},
},

このMCPサーバーは制約を返すツールlist_constraintsだけのサーバーです。
ここで「申請や承認の実装を行う前に呼び出してください」と書いたことは、結果に影響した可能性が高いと考えています。

4. 実験1: MCPに変えても制約が効くか?

申請の実装を各5回、計15回生成させ、差戻し時に承認ステップをAIがどう扱うかを比較しました。

観察項目 制約なし プロンプトに直貼り MCP経由
ツールを呼んだ 0 / 5 0 / 5 5 / 5
リセットを Reject に置いた 4 / 5 5 / 5 5 / 5
リセットを Submit に置いた 1 / 5 0 / 5 0 / 5
承認者と申請者の同一チェック 0 / 5 0 / 5 5 / 5

各列の状態は次の通りです。

列名 状態
制約なし 制約を指定せずにAIを呼び出す
プロンプトに直貼り 制約をプロンプトに指定してAIを呼び出す
MCP経由 制約をMCPに指定してAIを呼び出す

これらから下記のことがわかりました。

  • 「制約なし」では今回も生成結果にブレが発生しています
  • 「プロンプトに直貼り」と「MCP経由」では、リセットはRejectに実装するように安定しています
  • 「MCP経由」では5回ともMCPツールが使われました。置いてあるだけでは使われないかもしれないと考えてもいましたがその懸念が外れました。もっとも、これはツールの説明文に「実装前に呼び出してください」と書いたことが効いているのかもしれません
  • 「MCP経由」では定義した制約は全部使われました。申請者と承認者の同一チェックが5回とも実装されています。これは頼んでいないことも実装したともとれます

5. 実験2: 違う依頼でもMCPが使われるか?

実験1で確かめたのは、申請を実装させるという同じ依頼を5回繰り返した結果でした。次に「同じ知識が別の場面で使い回される」かどうかを確認します。

そこで依頼を4種類に変えて、それぞれ2回ずつ、計8回生成処理を流しました。制約はどの依頼のプロンプトにも書いておらず、MCPにだけ置いている状態です。

依頼 内容
実装 申請(Application)を実装する
APIハンドラ net/http のハンドラを実装する
レビュー 制約に違反したコードをレビューする
テスト生成 差戻しまわりのテストを書く

レビューに渡したコードは、差戻しのときに承認ステップに対して何も行わないコードになっています。制約に照らせば違反している状態ですので、ここが指摘されるかどうかを見ています。

結果は次のとおりでした。

依頼 ツールを呼んだ 使われた制約の種類 制約IDの出現箇所
実装 2 / 2 3 / 3 11, 15
APIハンドラ 2 / 2 3 / 3 8, 12
レビュー 2 / 2 2 / 3, 3 / 3 6, 6
テスト生成 2 / 2 3 / 3 8, 6

8回すべてでMCPツールが呼ばれ、どの依頼でも制約がコードに反映されました。
依頼の種類が変わっても、同じ制約が活かされていることがわかります。

例えば、APIハンドラの生成においては、AIは冒頭でこう宣言してから実装に入っていました。

まず稟議ドメインの制約を確認してから実装します。制約を確認しました。rejected-has-no-approved-step・approver-is-not-applicant・approval-is-ordered の3制約を組み込んで実装します。

また、テスト生成では制約がそのままテストケースの名前になっていました。

func TestReject_ResetsAllApprovedSteps(t *testing.T)
func TestReject_ByApplicant(t *testing.T)
func TestResubmit_ThenApproveFullRoute(t *testing.T)

レビューでの指摘

特に今後に活かせるかもしれないと感じたのは、レビューの結果でした。
2回とも、違反箇所を制約IDで名指しして指摘してくれているためです。

1. Reject() — 差戻し時に承認済みステップがリセットされない(制約 rejected-has-no-approved-step 違反)

さらに1回だけですが、こちらが仕込んでいない違反を2件追加で指摘し、最後に違反制約の一覧表まで付けてくるケースもありました。

2. Submit() — 再申請時に承認順序の整合性が壊れる恐れがある(制約 approval-is-ordered 違反)

3. 誰でも Reject() を呼べてしまう(制約 approval-is-ordered 違反の温床)

コードを生成させるため、MCPに制約をおきました。ですが、同じ制約がレビューにも活用されているわけです。

なお、先述の通り、制約にIDを付けておいたことによって「この実装はおかしい」ではなく「どの制約に違反しているか」という形で返ってくるので、指摘の根拠を追える利点がありました。

6. 実験3: MCPの制約を書き換えたら反映されるか?

制約を一箇所に集めたとして、それを更新したときに使う側へ届かなければ意味がありません。それでは各自が手元のプロンプトを直して回るのと変わらなくなってしまうので。

そこで、MCPサーバー側の制約を1つだけ書き換えて、クライアント側は1文字も変えずに生成処理を流してみました。

書き換えたのは、これまで見てきた差戻し時の扱いです。

バージョン 制約
v1 rejected-has-no-approved-step 差戻し状態の申請は、承認済みの承認ステップを持ちません。
v2 rejected-keeps-approved-step 差戻し状態の申請は、それまでの承認済みの承認ステップをそのまま保持します。再提出後は、未承認の段から承認を再開します。

生成されたコードの違いが分かりやすくなるよう、リセットするかしないかを反転させ、IDも変えました。

それぞれ3回ずつ、計6回を流しました。プロンプトと依頼は同じで、違うのはMCPサーバーが返す制約だけです。

観察項目 v1 v2
ツールを呼んだ 3 / 3 3 / 3
Reject でリセットした 3 / 3 0 / 3
新しい制約IDがコードに現れた - 3 / 3

v1では3回とも承認ステップをリセットしています。

func (a *Application) Reject() error {
	if !a.status.CanTransitionTo(StatusRejected) {
		return fmt.Errorf("差戻しできない状態です: %s", a.status)
	}
	// [rejected-has-no-approved-step] 差戻し状態の申請は承認済みステップを持たない
	for i := range a.approvalRoute.steps {
		a.approvalRoute.steps[i].approved = false
	}
	a.status = StatusRejected
	return nil
}

v2では3回ともリセットが消えました。

func (a *Application) Reject() error {
	if !a.status.CanTransitionTo(StatusRejected) {
		return fmt.Errorf("差戻しできない状態です: %s", a.status)
	}
	a.status = StatusRejected
	return nil
}

サーバーの制約を差し替えただけで、生成されるコードが変わりました。

保持する理由まで書いてくれた

v2では、ただリセットを消すだけでなく、保持する理由がコメントとして残っていました。

// [rejected-keeps-approved-step] 承認済みステップを保持したまま、未承認段から再開する。

さらに、制約と実装の対応表を付けてきた回もありました。

| rejected-keeps-approved-step | Reject では承認ルートを変更しない。Resubmit 後に Approve を呼ぶと currentStepIndex が最初の pending ステップを返すため、自動的に未承認の段から再開される |

制約をどう解釈して、どう実装に落としたかを自己解説しているので、制約の書き換えが反映されたかどうかを生成されたコードを読まずに確認できます。

ただし、生成結果のブレは残っている

v2の3回目だけ、Reject の形が違いました。

func (a *Application) Reject(approverID string) error {
	if !a.status.CanTransitionTo(StatusRejected) {
		return fmt.Errorf("差戻しできない状態です: %s", a.status)
	}

	// [approver-is-not-applicant]
	if approverID == a.applicantID {
		return errors.New("申請者は自身の申請を差戻しできません")
	}

	// [approval-is-ordered] 差戻しできるのも現在の承認順番の承認者のみ
	...
}

承認者の引数が増えて、申請者本人による差戻しを弾く実装になっています。差戻しのときに承認順序まで見るようにもなりました。制約は3つとも同じものを渡していますが、この回だけ差戻しにも他の2つの制約を適用する判断をしたわけです。

このように、制約を書けばブレが完全になくなるわけではありません。書いた制約については安定しますが、それをどこまで適用するかには、まだ振れ幅が残っていることもわかりました。

7. 実験では確かめていないこと

ここまでの3つの実験で確かめたのは、次のことでした。

  • MCPに置いても制約は効く。プロンプトに貼った場合と結果は変わらない(実験1)
  • 依頼の種類が変わっても同じ制約(知識)が活用される(実験2)
  • MCPを書き換えればクライアントを変えずに反映される(実験3)

一方で、今回の実験では確かめていないことがあります。この記事のタイトルに「チームで同じ知識を再利用する道」と書きましたが、チームでの利用そのものは試していません。

制約を一箇所に集めれば、全員が同じものを参照できます。更新も一度で済みます。これは構成からそう言えるという話で、測った結果ではありません。実際にチームで回せば、誰が制約を書くのか、どうレビューするのか、増えすぎたときにどう整理するのかといった問題が出てくるはずです。

ただ、実験3で確かめた「MCPを書き換えれば反映される」は、その前提になる部分でした。反映されなければ集約しても意味がありませんので、ここは確認できたと考えています。

もう一つ、実験の過程で分かったことがあります。制約にIDを付けたことで、生成されたコードのどの部分がどの制約に由来するかを追えるようになりました。レビューでも制約IDで指摘が返ってきました。集約の利点としてよく挙がる「共有」「メンテナンス」とは別に、来歴を追えるという利点が加わりました。

8. ハマったこと・迷っていること

ツールの説明文が結果に強く影響した可能性があります。

今回、MCPツールの説明文に「申請や承認の実装を行う前に呼び出してください」と書きました。19回の生成すべてでツールが使われましたが、この一文がなければどうだったかは未検証です。置いてあるだけで使われたのか、呼べと書いたので使われたのかは区別できていません。

3つ置いたら3つとも使われました。

申請の実装を頼んだだけなのに、承認者の同一人物チェックも承認順序も実装されています。制約が3つだったからそうなったのか、100個あっても全部使おうとするのかは分かりません。実務で使うなら、ここは確かめておく必要があるでしょう。

制約を誰がどう書くのかは、第3回から進んでいません。

第3回で「書くべき制約を網羅する方法は分かっていない」と書きました。今回は制約の届け方の話だったので、そこは手つかずのままです。

9. まとめ

全四回の連載で次のことがわかりました。

  • 語彙を渡しても構造は伝わらない(第1回)
  • 型にすれば構造は伝わるが、型に書けない判断が残る(第2回)
  • その判断は制約として書けば決まる(第3回)
  • 制約はMCPに置いても作用し、違う作業に再利用でき、更新も反映される(第4回)

従って、GoでDDDの連載で構築したような知識を、保守と共有が可能な形でAIに渡し、チームで活用できそうです。

一方、いまだ書くべき制約をどうやって見出すのかについては答えが出ていません。

DDD(ドメイン駆動設計)の知見から汲み出したり、既存コードやレビュー履歴から制約を抽出する仕組みが構築できると良いのかもしれません。

Appendix: MCPサーバーをLambdaで動かす

本編では触れませんでしたが、実験に使ったMCPサーバーはAWS Lambdaで動かしています。同じことを試す方のために、判断の理由とつまずいた点を残しておきます。

なぜローカルで動かさないのか

Anthropic の Messages API から MCP サーバーを使う場合、サーバーはパブリックなURLに公開されている必要があります。API側がサーバーに接続しにいく仕組みなので、localhost では通信できません。

選択肢は2つありました。手元でサーバーを動かして ngrok や Cloudflare Tunnel で一時的に公開するか、どこかにデプロイするか。今回は後者を選び、Lambda に載せました。

Lambda Web Adapter を使う

Lambda で動かすとなると、通常は aws-lambda-go を使ってハンドラの形に書き直します。ただ、それだとローカルで動かすコードとLambda用のコードが別物になってしまいます。

Lambda Web Adapter を使うと、普通の net/http サーバーのまま Lambda で動きます。レイヤーとして追加するだけで、コードは1行も変えていません。

レイヤーのARNは次の形です。バージョン番号は更新されるので、最新はリポジトリのREADMEで確認してください。

arn:aws:lambda:ap-northeast-1:753240598075:layer:LambdaAdapterLayerArm64:30

関数の設定はこうなります。

項目 値
ランタイム provided.al2023
アーキテクチャ arm64
ハンドラ bootstrap
環境変数 PORT=8080, AWS_LWA_PORT=8080

ビルドはクロスコンパイルするだけです。バイナリ名は bootstrap 固定です。

GOOS=linux GOARCH=arm64 CGO_ENABLED=0 go build -ldflags="-s -w" -o bootstrap .
zip -q function.zip bootstrap

つまずいた点1: Function URL には権限が2つ要る

Function URL を認証なし(AuthType: NONE)で公開したのですが、叩くと Forbidden が返ってきました。

Forbidden. Invoking a Function URL requires both the lambda:InvokeFunctionUrl
and lambda:InvokeFunction permissions.

エラーメッセージの通りで、権限が2つ必要です。lambda:InvokeFunctionUrl だけでは足りません。

aws lambda add-permission \
  --function-name ringi-mcp \
  --statement-id FunctionURLAllowPublicAccess \
  --action lambda:InvokeFunctionUrl \
  --principal '*' \
  --function-url-auth-type NONE

aws lambda add-permission \
  --function-name ringi-mcp \
  --statement-id FunctionURLAllowPublicInvoke \
  --action lambda:InvokeFunction \
  --principal '*'

2つ目には --function-url-auth-type を付けられません。付けると「FunctionUrlAuthType は lambda:InvokeFunctionUrl でしか使えない」というエラーになります。

なお、リソースベースポリシーの反映には数秒かかります。作成直後に叩いて Forbidden が返っても、少し待つと通ることがあります。

つまずいた点2: Windowsでzipを作るとパーミッションが落ちる

provided.al2023 ランタイムは /var/task/bootstrap を直接実行します。そのため、バイナリに実行権限が必要です。

ところが PowerShell の Compress-Archive は Unix のパーミッションを保持しません。このzipをアップロードすると、Lambda が bootstrap を実行できずに起動に失敗します。

回避するには、.NET の ZipArchive を直接使ってパーミッションを書き込みます。

$zip = [System.IO.Compression.ZipFile]::Open(
    $ZipPath, [System.IO.Compression.ZipArchiveMode]::Create)
$entry = $zip.CreateEntry(
    'bootstrap', [System.IO.Compression.CompressionLevel]::Optimal)

# 上位16bitがUnixのモード。0o100755 = 0x81ED
$entry.ExternalAttributes = 0x81ED -shl 16

WSL や Git Bash で zip コマンドを使えば、この問題は起きません。

ついでにもう一つ。.NET のカレントディレクトリは PowerShell のカレントディレクトリと別物です。ZipFile::Open に相対パスを渡すと C:\Windows\system32 に書こうとしてアクセス拒否になります。絶対パスに直してから渡してください。

注意: 認証なしで公開しないでください!!

今回の実験では、Function URL を AuthType: NONE で公開しました。誰でも叩ける状態です。

扱っているのが公開しても困らない制約だったこと、実験が終わればすぐ消すことを前提にしていたので、この判断をしています。実際の業務知識を置くなら、この構成は使えません。MCPサーバーの認証をどう設計するかは、今回は踏み込んでいません。

実験が終わったら、関数ごと削除することを忘れずに。

aws lambda delete-function-url-config --function-name ringi-mcp
aws lambda delete-function --function-name ringi-mcp

デプロイ用のスクリプトは bash 版と PowerShell 版の両方をリポジトリに置いてあります。

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?