1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?

AI Agentの権限が消えた? それとも取得できなかった? Microsoft Graphで誤検知しない権限監視を実装する

1
Posted at

この記事は「AI AgentとIdentity」連載の第7回です。第6回ではMicrosoft Entra Agent IDのAgent IdentityをMicrosoft Graphで棚卸しし、Owner / Sponsor / 直接割り当てられたApplication PermissionをCSVに記録しました。

今回は 「権限が消えた」のか「取得できなかった」のかを区別することをテーマに、誤検知を抑えた差分監視を設計します。

検証状況:本記事の差分監視コードは、模擬CSVに加えて実テナントで検証済みです。Application Permissionを削除・復元して検出できること(6-2章)、Graphが実際に403を返したときに削除と誤認しないこと(6-3章)を確認しました。Blueprintの継承設定を取得するAPIも実行済みです(8章)。一方、429の実挙動、スナップショットの完全性保証、定期実行・通知は未実装・未検証です。

はじめに:権限が消えた? それとも取得できなかった?

AI Agentの権限を毎日棚卸しすると、ある日、前日まで存在した権限がCSVから消えるかもしれません。

しかし、その理由は一つとは限りません。

  • 管理者がApplication Permissionを実際に削除した
  • Microsoft Graphが403 Forbiddenを返し、割り当てを取得できなかった
  • 429 Too Many Requestsで途中までしか取得できなかった
  • 権限の割り当ては取得できたが、GUIDから名前への変換に失敗した

「空欄になった=権限が削除された」と判断すると、監視そのものが誤った証跡を生みます。

今回は第6回のAgentInventory.csvを出発点に、差分の前に取得結果の信頼性を判定する仕組みを作ります。


1. 今回のゴール:差分より先に「比較してよいか」を決める

監視対象 検出したいこと 取得失敗時の扱い
Agent Identity一覧 新規・一覧からの消失 一覧全体が不完全なら比較中止
AccountEnabled 有効・無効の変化 値の欠落は判定不能
Owner ID集合の追加・削除 OwnerStatusがSuccessでなければ判定不能
Sponsor ID集合の追加・削除 SponsorStatusがSuccessでなければ判定不能
直接アプリロール 割り当ての追加・削除 収集失敗なら判定不能
権限名解決 GUIDを表示名に変換できたか 割り当て変更と混同しない
Blueprint継承権限 実効権限に関わる変化 Agent Identity側では列挙できない(8章)

対象はMicrosoft Entra Agent IDのAgent Identityです。 FoundryやCopilot StudioなどのすべてのAgentを網羅する監視ではありません。また、2時点の比較は変更履歴そのものではありません。取得間隔の途中で追加され、次回取得までに元に戻った変更は見逃します。


2. 一番危険な誤検知:1件 → 0件と、1件 → 403は違う

前回 今回 正しい判断
Success / 権限1件 Success / 権限0件 削除を検出
Success / 権限1件 Error: 403 比較不能。削除と判定しない
Success / 権限1件 Error: 429 比較不能。再試行・監視対象
Success / 権限1件 取得成功・名前解決Partial 割り当ては取得済み。表示名の差分は信用しない

ここでのポイントは、「0件」はデータであり、「取得失敗」は状態であるということです。

第6回ではOwnerCount = 0とOwnerStatus = Errorを区別しました。第7回では、この区別を時系列比較の判定条件として利用します。


3. 構成:正常スナップショットだけを比較する

Microsoft Entra ID
  └─ Agent Identity / Owner / Sponsor / appRoleAssignments
                       │
                       ▼
                  Microsoft Graph
                       │
                       ▼
            PowerShellでInventory取得
                       │
                       ▼
        一覧取得の完全性チェック(実行単位)
              │                    │
           不完全                  完全
              │                    │
              ▼                    ▼
         比較を中止           項目別の取得状態を確認
         障害を通知                 │
                                   ▼
                         前回正常取得分と比較
                                   │
                                   ▼
                         変更 / 判定不能 / 変更なし
                                   │
                                   ▼
                            管理者レビュー

第6回のCSVだけでは、Agent一覧の全ページを取得できたことを証明できません。MissingNeedsVerificationを判定するには、CSVとは別に「一覧取得完了」を記録した実行メタデータが必要です。
以下の比較コードは、両方のCSVが一覧全件取得に成功した後で保存されたことを前提とします。この前提を満たせない場合、実運用では比較を開始しないでください。


4. 第6回のCSVをどう使うか

第6回で作成したAgentInventory.csvには、主に以下が含まれます。

列 役割
AgentId 同じAgentを突き合わせるキー
AgentName イベントの表示名
AccountEnabled / BlueprintId Agent自体の状態変化
OwnerIds / SponsorIds 管理主体・責任主体のID集合
OwnerStatus / SponsorStatus 取得成功と取得失敗の区別
DirectAppRoles 表示用の直接アプリロール一覧
AssignmentCollectionStatus 割り当ての取得成否
PermissionResolutionStatus 権限名の解決成否
InheritedPermissionStatus 第6回ではNotEvaluated

第6回の実測では、Ownerは0件、Sponsorは1件、直接アプリロールはMicrosoft Graph/User.Read.Allの1件でした。これは第6回の観測値であり、第7回で権限変更が発生したという意味ではありません。

今回のコードでは、第6回のCSVをそのまま使うため、DirectAppRolesの比較は表示名ベースの暫定比較です。本番で割り当てを正確に監視するための改善は8章で扱います。


5. PowerShell:取得失敗を「削除」にしない比較処理

以下の実装例は、PowerShell 7で前回・今回のCSVを比較します。実行前に、両ファイルのAgent一覧が完全に取得されていることを確認してください。

このコードは、模擬CSVによる誤検知ケースに加えて、実テナントでApplication Permissionを削除・復元したケースと、Graphが実際に403を返したケースでも検証しています。結果は6章で紹介します。

# PowerShell 7 / 第6回のCSV形式を想定
$previousPath = './snapshots/AgentInventory_previous.csv'
$currentPath  = './snapshots/AgentInventory_current.csv'
$outputPath   = './AgentChanges.csv'
$summaryPath  = './AgentChangesSummary.csv'

$previous = @(Import-Csv -LiteralPath $previousPath)
$current  = @(Import-Csv -LiteralPath $currentPath)

function Assert-Snapshot {
    param([object[]]$Rows, [string]$Name)
    # 一覧取得の完全性は別途確認済みであること(この関数では保証できない)
    $required = @('AgentId','AgentName','OwnerCount','OwnerIds','OwnerStatus',
        'SponsorCount','SponsorIds','SponsorStatus',
        'DirectAppRoleCount','DirectAppRoles','AssignmentCollectionStatus','PermissionResolutionStatus',
        'AccountEnabled','BlueprintId')
    if ($Rows.Count -eq 0) { throw "$Name has no rows; verify collection completeness" }
    foreach ($column in $required) {
        if ($column -notin $Rows[0].PSObject.Properties.Name) {
            throw "$Name missing column: $column"
        }
    }
    if (@($Rows | Where-Object { [string]::IsNullOrWhiteSpace($_.AgentId) }).Count -gt 0) {
        throw "$Name contains empty AgentId"
    }
    if (@($Rows | Group-Object AgentId | Where-Object Count -gt 1).Count -gt 0) {
        throw "$Name contains duplicate AgentId"
    }
}

function ConvertTo-Set {
    param([AllowNull()][string]$Value)
    @($Value -split ';' |
        Where-Object { -not [string]::IsNullOrWhiteSpace($_) } |
        ForEach-Object { $_.Trim().ToLowerInvariant() } |
        Sort-Object -Unique)
}

function Test-SetEqual {
    param([string[]]$Before, [string[]]$After)
    $left  = @($Before | Sort-Object -Unique)
    $right = @($After  | Sort-Object -Unique)
    ($left.Count -eq $right.Count) -and (($left -join ';') -ceq ($right -join ';'))
}

function Test-CountConsistent {
    # CSVの件数列と、ID集合の件数が一致しているかを確認する
    param([AllowNull()][string]$CountValue, [int]$ActualCount)
    if ([string]::IsNullOrWhiteSpace($CountValue)) { return $false }
    $parsed = 0
    if (-not [int]::TryParse($CountValue, [ref]$parsed)) { return $false }
    return ($parsed -eq $ActualCount)
}

function New-Event {
    param([string]$AgentId, [string]$AgentName,
          [string]$Field, [string]$Result,
          [string]$Before = '', [string]$After = '',
          [string]$BeforeStatus = '', [string]$AfterStatus = '')
    [pscustomobject]@{
        DetectedAtUtc = [DateTime]::UtcNow.ToString('o')
        AgentId       = $AgentId
        AgentName     = $AgentName
        Field         = $Field
        Result        = $Result
        Before        = $Before        # 値(IDや権限名の集合)
        After         = $After
        BeforeStatus  = $BeforeStatus  # 取得状態(Success / Error: 403 など)
        AfterStatus   = $AfterStatus
    }
}

Assert-Snapshot $previous 'Previous'
Assert-Snapshot $current  'Current'

$oldById = @{}
foreach ($row in $previous) { $oldById[$row.AgentId] = $row }
$newById = @{}
foreach ($row in $current) { $newById[$row.AgentId] = $row }

$events = @(
    foreach ($id in @(($oldById.Keys) + ($newById.Keys) | Sort-Object -Unique)) {
        $old = $oldById[$id]
        $new = $newById[$id]

        if ($null -eq $old) {
            New-Event $id $new.AgentName 'Agent' 'Added' -After $new.AgentName
            continue
        }
        if ($null -eq $new) {
            # 一覧からの消失であり、削除確定ではない
            New-Event $id $old.AgentName 'Agent' 'MissingNeedsVerification' -Before $old.AgentName
            continue
        }

        # 値が欠けている場合は「変更」ではなく「判定不能」にする
        foreach ($field in @('AccountEnabled','BlueprintId')) {
            $before = [string]$old.$field
            $after  = [string]$new.$field
            if ([string]::IsNullOrWhiteSpace($before) -or [string]::IsNullOrWhiteSpace($after)) {
                New-Event $id $new.AgentName $field 'UnknownValue' -Before $before -After $after
                continue
            }
            if ($before -cne $after) {
                New-Event $id $new.AgentName $field 'Changed' -Before $before -After $after
            }
        }

        foreach ($spec in @(
            @{ Field = 'OwnerIds'; Status = 'OwnerStatus' },
            @{ Field = 'SponsorIds'; Status = 'SponsorStatus' }
        )) {
            $field = $spec.Field
            $statusField = $spec.Status
            if ($old.$statusField -ne 'Success' -or $new.$statusField -ne 'Success') {
                New-Event $id $new.AgentName $field 'Unknown' `
                    -BeforeStatus $old.$statusField -AfterStatus $new.$statusField
                continue
            }

            $beforeSet = @(ConvertTo-Set $old.$field)
            $afterSet  = @(ConvertTo-Set $new.$field)

            # 件数列とID集合が食い違うCSVは、取得が中途半端だった可能性がある
            $countField = $field -replace 'Ids$', 'Count'
            if (-not (Test-CountConsistent $old.$countField $beforeSet.Count) -or
                -not (Test-CountConsistent $new.$countField $afterSet.Count)) {
                New-Event $id $new.AgentName $field 'UnknownValue' `
                    -Before ($beforeSet -join ';') -After ($afterSet -join ';') `
                    -BeforeStatus "count=$($old.$countField)" -AfterStatus "count=$($new.$countField)"
                continue
            }

            if (-not (Test-SetEqual $beforeSet $afterSet)) {
                # 追加と削除を分けて記録する
                $added   = @($afterSet  | Where-Object { $_ -notin $beforeSet })
                $removed = @($beforeSet | Where-Object { $_ -notin $afterSet })
                $result  = if ($added.Count -gt 0 -and $removed.Count -gt 0) { 'Changed' }
                           elseif ($added.Count -gt 0) { 'Added' } else { 'Removed' }

                New-Event $id $new.AgentName $field $result `
                    -Before ($beforeSet -join ';') -After ($afterSet -join ';') `
                    -BeforeStatus 'Success' -AfterStatus 'Success'
            }
        }

        $assignmentOk = $old.AssignmentCollectionStatus -eq 'Success' -and
                        $new.AssignmentCollectionStatus -eq 'Success'
        $resolutionOk = $old.PermissionResolutionStatus -eq 'Success' -and
                        $new.PermissionResolutionStatus -eq 'Success'

        if (-not $assignmentOk) {
            New-Event $id $new.AgentName 'DirectAppRoles' 'UnknownCollection' `
                -BeforeStatus $old.AssignmentCollectionStatus -AfterStatus $new.AssignmentCollectionStatus
        }
        elseif (-not $resolutionOk) {
            New-Event $id $new.AgentName 'DirectAppRoles' 'UnknownNameResolution' `
                -BeforeStatus $old.PermissionResolutionStatus -AfterStatus $new.PermissionResolutionStatus
        }
        else {
            $beforeSet = @(ConvertTo-Set $old.DirectAppRoles)
            $afterSet  = @(ConvertTo-Set $new.DirectAppRoles)

            # 件数列と権限名の数が食い違う場合は、権限変更ではなくデータの不整合とみなす
            if (-not (Test-CountConsistent $old.DirectAppRoleCount $beforeSet.Count) -or
                -not (Test-CountConsistent $new.DirectAppRoleCount $afterSet.Count)) {
                New-Event $id $new.AgentName 'DirectAppRoles' 'UnknownValue' `
                    -Before ($beforeSet -join ';') -After ($afterSet -join ';') `
                    -BeforeStatus "count=$($old.DirectAppRoleCount)" -AfterStatus "count=$($new.DirectAppRoleCount)"
                continue
            }

            if (-not (Test-SetEqual $beforeSet $afterSet)) {
                $added   = @($afterSet  | Where-Object { $_ -notin $beforeSet })
                $removed = @($beforeSet | Where-Object { $_ -notin $afterSet })
                $result  = if ($added.Count -gt 0 -and $removed.Count -gt 0) { 'ChangedDisplayNames' }
                           elseif ($added.Count -gt 0) { 'AddedDisplayNames' } else { 'RemovedDisplayNames' }

                New-Event $id $new.AgentName 'DirectAppRoles' $result `
                    -Before ($beforeSet -join ';') -After ($afterSet -join ';') `
                    -BeforeStatus 'Success' -AfterStatus 'Success'
            }
        }
    }
)

if ($events.Count -eq 0) {
    # 列構成をコードと一致させるため、空の結果でもテンプレートから生成する
    (New-Event '' '' '' '' | Select-Object * | ConvertTo-Csv -NoTypeInformation)[0] |
        Set-Content -LiteralPath $outputPath -Encoding utf8BOM
}
else {
    $events | Export-Csv -LiteralPath $outputPath -NoTypeInformation -Encoding utf8BOM
}

# 「変更なし」と「確認できない」を説明するためのサマリ
$comparedIds = @($oldById.Keys | Where-Object { $newById.ContainsKey($_) })
$summary = [pscustomobject]@{
    RunAtUtc       = [DateTime]::UtcNow.ToString('o')
    PreviousAgents = $previous.Count
    CurrentAgents  = $current.Count
    ComparedAgents = $comparedIds.Count
    ChangeEvents   = @($events | Where-Object { $_.Result -notlike 'Unknown*' -and $_.Result -ne 'MissingNeedsVerification' }).Count
    UnknownEvents  = @($events | Where-Object { $_.Result -like 'Unknown*' }).Count
    MissingAgents  = @($events | Where-Object { $_.Result -eq 'MissingNeedsVerification' }).Count
}
$summary | Export-Csv -LiteralPath $summaryPath -NoTypeInformation -Encoding utf8BOM

Write-Host "Events: $($events.Count) / Compared: $($comparedIds.Count) / Unknown: $($summary.UnknownEvents)"

このコードの要点です。

  • Owner / SponsorはID集合として比較し、並び順の違いを無視する
  • Success以外は削除と判定せず、Unknownに分類する
  • 割り当ての取得失敗(UnknownCollection)と、名前解決の失敗(UnknownNameResolution)を別々に記録する
  • 値(Before / After)と取得状態(BeforeStatus / AfterStatus)を別の列に分ける
  • 追加・削除・両方を、Added / Removed / Changedで区別する

このサンプルには、Graph APIの呼び出し、429再試行、スナップショットの完全性メタデータ、定期実行、通知は含みません。
Agent一覧の取得が途中で失敗したCSVを入力すると誤った消失イベントを生成し得るため、実運用では実行単位の成功判定を先に実装してください。

また、Assert-Snapshotは0行のCSVを一律でエラーにしています。これは「取得に失敗した空ファイル」を弾くための割り切りです。
Agentが本当に0件になるテナントでは、収集完了のメタデータで「正常な0件」を判別できるようにしてから、この条件を緩めてください。


6. 検証1:模擬CSVで誤検知ケースを確認する

Graphの応答を模したCSVを2つ用意し、5章のコードをそのまま実行しました。

再現用の模擬CSVは次のとおりです(列は第6回のCSVから、比較に使う分だけ抜粋しています)。

AgentInventory_previous.csv

AgentId,AgentName,BlueprintId,AccountEnabled,OwnerCount,OwnerIds,OwnerStatus,SponsorCount,SponsorIds,SponsorStatus,DirectAppRoleCount,DirectAppRoles,AssignmentCollectionStatus,PermissionResolutionStatus,InheritedPermissionStatus,RiskFlags
a1,Agent-DeletedPerm,bp1,True,1,u1,Success,1,s1,Success,1,Microsoft Graph/User.Read.All,Success,Success,NotEvaluated,
a2,Agent-403,bp1,True,1,u1,Success,1,s1,Success,1,Microsoft Graph/User.Read.All,Success,Success,NotEvaluated,
a3,Agent-429,bp1,True,1,u1,Success,1,s1,Success,1,Microsoft Graph/User.Read.All,Success,Success,NotEvaluated,
a4,Agent-Partial,bp1,True,1,u1,Success,1,s1,Success,1,Microsoft Graph/User.Read.All,Success,Success,NotEvaluated,
a5,Agent-OwnerOrder,bp1,True,2,u1;u2,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a6,Agent-OwnerAdd,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a7,Agent-Owner403,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a8,Agent-SponsorSwap,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a9,Agent-Missing,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a10,Agent-EnabledBlank,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a11,Agent-CountMismatch,bp1,True,2,u1;u2,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a13,Agent-RoleCountMismatch,bp1,True,1,u1,Success,1,s1,Success,1,Microsoft Graph/User.Read.All,Success,Success,NotEvaluated,

AgentInventory_current.csv

AgentId,AgentName,BlueprintId,AccountEnabled,OwnerCount,OwnerIds,OwnerStatus,SponsorCount,SponsorIds,SponsorStatus,DirectAppRoleCount,DirectAppRoles,AssignmentCollectionStatus,PermissionResolutionStatus,InheritedPermissionStatus,RiskFlags
a1,Agent-DeletedPerm,bp1,True,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a2,Agent-403,bp1,True,1,u1,Success,1,s1,Success,,,Error: HTTP 403,NotApplicable,NotEvaluated,DirectPermissionUnknown
a3,Agent-429,bp1,True,1,u1,Success,1,s1,Success,,,Error: HTTP 429,NotApplicable,NotEvaluated,DirectPermissionUnknown
a4,Agent-Partial,bp1,True,1,u1,Success,1,s1,Success,1,Unresolved:r1/ar1,Success,Partial,NotEvaluated,PermissionNameResolutionFailed
a5,Agent-OwnerOrder,bp1,True,2,u2;u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a6,Agent-OwnerAdd,bp1,True,2,u1;u2,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a7,Agent-Owner403,bp1,True,,,Error: HTTP 403,1,s1,Success,0,,Success,Success,NotEvaluated,OwnerUnknown
a8,Agent-SponsorSwap,bp1,True,1,u1,Success,1,s2,Success,0,,Success,Success,NotEvaluated,
a10,Agent-EnabledBlank,bp1,,1,u1,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a11,Agent-CountMismatch,bp1,True,3,u1;u2,Success,1,s1,Success,0,,Success,Success,NotEvaluated,
a12,Agent-New,bp1,True,0,,Success,1,s1,Success,0,,Success,Success,NotEvaluated,OwnerMissing
a13,Agent-RoleCountMismatch,bp1,True,1,u1,Success,1,s1,Success,1,,Success,Success,NotEvaluated,

実行結果です。

Agent 前回 → 今回 期待結果 実行結果
a1 権限1件 → 正常取得0件 RemovedDisplayNames ✅ 一致(削除候補として検出)
a2 権限1件 → 403 UnknownCollection ✅ 一致(削除と誤認しない)
a3 権限1件 → 429 UnknownCollection ✅ 一致(障害として扱う)
a4 名前解決Success → Partial UnknownNameResolution ✅ 一致(表示名の変化と混同しない)
a5 Owner u1;u2 → u2;u1 イベントなし ✅ 一致(順序差を無視)
a6 Owner u1 → u1;u2 Added ✅ 一致
a7 Owner u1 → 403 Unknown ✅ 一致(Owner削除と誤認しない)
a8 Sponsor s1 → s2 Changed ✅ 一致
a9 一覧から消失 MissingNeedsVerification ✅ 一致(削除と断定しない)
a10 AccountEnabledが空欄 UnknownValue ✅ 一致(値の欠落を変更にしない)
a11 OwnerCount=3だがID2件 UnknownValue ✅ 一致(件数とID集合の不整合を検出)
a12 新しいAgentが出現 Added ✅ 一致
a13 DirectAppRoleCount=1だが権限名0件 UnknownValue ✅ 一致(権限削除と誤認しない)
Events: 12 / Compared: 11 / Unknown: 7

AgentChangesSummary.csv

PreviousAgents,CurrentAgents,ComparedAgents,ChangeEvents,UnknownEvents,MissingAgents
12,12,11,4,7,1

同じ「権限が1件から0件になった」ように見えるa1・a2・a3が、別の判定になっている点が今回の狙いです。
a1は削除候補、a2とa3は収集障害として、それぞれ別の対応につながります。

a2・a3のError: HTTP 403 / Error: HTTP 429は、模擬CSVに書いた値です。
Graphが実際にこれらを返したときに、収集側が同じ文字列を記録するかは、収集コードの実装に依存します。


6-2. 検証2:実テナントで権限を削除して検出する

模擬CSVだけでは、「実際に権限が削除されたとき本当に検出できるのか」は分かりません。
そこで、第6回の検証環境(Agent Identity TokenTestAgent)で、実際に権限を外して確認しました。

手順は次のとおりです。

  1. 第6回の収集コードでスナップショットを取得(ベースライン)
  2. Microsoft GraphのUser.Read.All(Application Permission)の割り当てを削除
  3. 同じ収集コードでスナップショットを取得
  4. 5章の比較コードでベースラインと比較
  5. 権限を復元し、もう一度スナップショットを取得して比較

収集結果の変化です。

タイミング DirectAppRoleCount DirectAppRoles RiskFlags
ベースライン 1 Microsoft Graph/User.Read.All OwnerMissing;PermissionReviewRequired
削除後 0 (空) OwnerMissing
復元後 1 Microsoft Graph/User.Read.All OwnerMissing;PermissionReviewRequired

比較コードの出力です(AgentIdはマスクしています)。

# ベースライン → 削除後
AgentName,Field,Result,Before,After,BeforeStatus,AfterStatus
TokenTestAgent,DirectAppRoles,RemovedDisplayNames,microsoft graph/user.read.all,,Success,Success

# 削除後 → 復元後
AgentName,Field,Result,Before,After,BeforeStatus,AfterStatus
TokenTestAgent,DirectAppRoles,AddedDisplayNames,,microsoft graph/user.read.all,Success,Success

実際の権限削除はRemovedDisplayNames、復元はAddedDisplayNamesとして検出できました。
AssignmentCollectionStatusは両方ともSuccessのままです。収集に成功したうえで0件になったことが、CSVからも読み取れます。

権限を実際に削除する検証は、必ず検証用テナントで行ってください。
また、割り当ての削除から収集までに反映の遅れがあり得ます。今回は削除後に15秒待ってから収集しました。


6-3. 検証3:本物の403を「削除」と誤認しないか

模擬CSVのError: HTTP 403は、私が手で書いた値です。
そこで、Graphが実際に403を返す状況を作り、収集から比較までを通しで確認しました。

手順です。

  1. Microsoft GraphのUser.Readだけを同意したアプリ登録を作る(AgentIdentity系のスコープなし)
  2. そのアプリでサインインし、権限を絞ったトークンを取得する
  3. Agent一覧は管理者トークンで取得し、Owner / Sponsor / appRoleAssignmentsだけ権限を絞ったトークンで呼ぶ
  4. 得られたスナップショットを、正常時のスナップショットと比較する

3は「収集処理がサブAPIの権限を失った状態」を再現するための構成です。

取得したトークンのスコープです。

scp = User.Read profile openid email

収集時のログです。3つともGraphが403を返しました。

Owner: Error: HTTP 403 / Sponsor: Error: HTTP 403 / appRoleAssignments: Error: HTTP 403

できあがったスナップショットです。

列 値
OwnerCount / OwnerIds (空)
OwnerStatus Error: HTTP 403
SponsorStatus Error: HTTP 403
DirectAppRoleCount / DirectAppRoles (空)
AssignmentCollectionStatus Error: HTTP 403
RiskFlags OwnerUnknown;SponsorUnknown;DirectPermissionUnknown

CSVの見た目は「Ownerも権限も消えた」ように見えます。 これを正常時のスナップショットと比較しました。

Events: 3 / Compared: 1 / Unknown: 3

Field            Result                   AfterStatus
OwnerIds         Unknown                  Error: HTTP 403
SponsorIds       Unknown                  Error: HTTP 403
DirectAppRoles   UnknownCollection        Error: HTTP 403

サマリです。

PreviousAgents,CurrentAgents,ComparedAgents,ChangeEvents,UnknownEvents,MissingAgents
1,1,1,0,3,0

変更イベントは0件で、すべて判定不能として記録されました。
検証2で実際に権限を削除したときはRemovedDisplayNames、今回の403ではUnknownCollectionです。同じ「値が空になった」CSVでも、判定が分かれています。

この検証では、収集スクリプトのバグでCSVの列構成が壊れたこともありました。
そのときはAssert-SnapshotがCurrent missing column: AgentIdで停止し、比較は実行されませんでした。
壊れたデータで差分を出さない仕組みは、権限の判定だけでなく、収集側の不具合にも効きます。


7. 「変更なし」と「確認できない」を同じ扱いにしない

監視の結果は、少なくとも次の3つに分けます。

判定 意味 運用上の扱い
Changed / Added / Removed 比較可能な2時点で値が異なる 管理者レビュー
Unchanged 比較可能な2時点で値が等しい 正常として記録
Unknown どちらかの取得に失敗した 取得障害として調査・再試行

5章のコードは変更と判定不能のイベントだけをAgentChanges.csvに出力し、比較できた件数・判定不能の件数をAgentChangesSummary.csvに記録します。

イベントのCSVに行がないことだけでは、「全項目がUnchangedだった」と説明できません。比較対象件数と判定不能件数がそろって初めて「異常なし」と言えます。

また、Ownerが0件から0件のままなら「変更なし」ですが、Owner未設定というリスクは継続しています。変更監視と状態監視は別の軸です。


8. 継承権限は、Agent Identity側からは列挙できない

第6回では、Agent IdentityのappRoleAssignmentsにBlueprint由来の権限が現れませんでした。これは取得漏れではなく、仕様どおりです。

公式ドキュメントには、次のように明記されています。

継承された権限は、管理センターでもMicrosoft Graphでも、Agent Identityの権限としては表示されない。実行時のトークンの中でしか観測できない。プラットフォームがトークン発行時に、継承分と直接付与分をマージする。

第2回の検証でも、Blueprintに同意したUser.ReadはOBOトークンのscpにだけ現れていました。

つまり、Agentの直接アプリロールに差分がない=Agentの利用可能な権限に変化がないとは言えません。

では、何を監視するのか

公式によると、継承が成立するには次の2つがどちらも必要です。

  1. 対象のリソースアプリが、Blueprintのinheritable permissionsに登録されている
  2. その権限が、Blueprint Principalに同意されている(required resource accessによる静的同意、または明示的に要求した動的同意)

どちらもBlueprint側の設定なので、Graphで取得できます。監視対象の候補は次のようになります。

監視対象 取得方法 変化が意味すること
Blueprintのinheritable permissions GET /applications/{id}/microsoft.graph.agentIdentityBlueprint/inheritablePermissions 継承の対象リソースや継承方針が変わった
Blueprint Principalへの委任同意 GET /oauth2PermissionGrants?$filter=clientId eq '{blueprintSpId}' 継承されるDelegated Permissionが増減した
Blueprint Principalへのロール割り当て GET /servicePrincipals/{blueprintSpId}/appRoleAssignments 継承されるApplication Permissionが増減した
実際に発行されたトークン scp / roles 実効権限の最終確認

一覧取得に必要な権限は、委任・アプリケーションともAgentIdentityBlueprint.Read.Allです(上位はApplication.Read.All)。
Agent Identityの棚卸しとは別の権限が要る点に注意してください。

委任アクセスの場合、Graphの権限だけでは足りないことがあります。
公式ドキュメントによると、Blueprintの所有者でないユーザーが委任で呼び出すには、対応するMicrosoft Entraロールが必要で、最小権限の組み込みロールとしてAgent ID Administratorが挙げられています。
スコープに同意済みなのに403が返る場合は、ロールの有無を確認してください。

実際に取得してみる

検証環境のBlueprint(第2回で作成)に対して実行しました。

$uri = "$baseUrl/applications/$blueprintObjectId/microsoft.graph.agentIdentityBlueprint/inheritablePermissions"
(Invoke-MgGraphRequest -Method GET -Uri $uri).value

結果です。

resourceAppId          : 00000003-0000-0000-c000-000000000000   # Microsoft Graph
inheritableScopes.kind : allAllowed
inheritableRoles.kind  : none

第2回で「Graphのスコープは継承する、ロールは継承しない」と設定したとおりの値が返ってきました。
あわせて、Blueprint Principalへの委任同意(User.Read / AllPrincipals)も取得できています。

inheritableScopesとinheritableRolesは独立した設定なので、監視でも別々に比較します。
kindにはallAllowed / noneのほか、スコープを列挙するenumeratedもあります。

Blueprintの監視を組み込むには、Agent IdentityのBlueprint IDからアプリケーションオブジェクトとBlueprint Principalを特定する処理と、追加の権限が必要です。
今回の差分監視コードには統合していません。今後拡張できる監視対象として整理しています。
また、同意の変更はAPIの応答に反映されるまで時間差があり得るため、1回の不一致で即断しない設計が必要です。

InheritedPermissionStatus = NotEvaluatedのまま「継承権限に変更なし」と表示してはいけません。
Blueprint側の監視を実装するまでは、実効権限については何も言えていない状態です。

直接権限の比較も表示名からIDへ

第6回のDirectAppRolesはMicrosoft Graph/User.Read.Allのような表示文字列です。しかし、表示名が変わっただけで権限変更と誤判定する可能性があります。

同一テナント内の継続監視なら、appRoleAssignmentsから次の組を保存する方が堅牢です。

# 第6回の $permission.Assignments からキーを作る拡張例(未統合)
$keys = @(
    $permission.Assignments | ForEach-Object {
        "$([string]$_.resourceId)/$([string]$_.appRoleId)".ToLowerInvariant()
    } | Sort-Object -Unique
)
$keys -join ';'

表示名は重複し得るため、件数チェックを入れても表示名ベースの比較には限界があります。継続監視ではIDで比較するのが確実です。

resourceIdはリソースService PrincipalのオブジェクトID、appRoleIdは割り当て先アプリロールIDです。割り当ての取得自体が失敗した場合は、ID比較でも判定不能です。なお、テナント間ではService PrincipalのオブジェクトIDが異なるため、このキーをそのまま横断比較には使えません。


9. 通知は「変更」と「収集障害」を分ける

イベント 通知例 優先度の考え方
直接アプリロールの追加 「Agent Aに権限が追加された可能性」 追加権限の影響に応じてレビュー
Ownerが1件→0件 「管理主体が未設定になった」 優先レビュー
Sponsor変更 「責任主体が変更された」 承認・記録との突合
Blueprintの継承設定・同意の変更 「配下Agentの実効権限が変わった可能性」 Blueprint単位でレビュー
403 / 429 「棚卸しの一部が取得不能」 収集障害として通知
Agent一覧の取得失敗 「スナップショットの完全性を保証できない」 差分判定を停止

最初から自動的に権限を剥奪するのではなく、検知→証跡保存→人による確認を基本にします。


10. 本番運用に必要な追加設計

項目 今回の扱い 本番で必要なこと
Graphからの収集 第6回の実装を利用 全ページ取得成功の実行メタデータ
取得障害 CSVの状態列で区別 HTTPステータス別処理、Retry-After対応
権限比較 表示名による暫定比較 resourceId/appRoleIdを保存して比較
Snapshot保管 ローカルCSV例 取得日時・テナントID・実行ID・完全性・保護
認証 検証では管理者の委任トークン 用途別アプリ認証・最小権限・資格情報保護
定期実行 未実装 Azure Automation等でスケジュール実行
監視・通知 判定ルールのみ 変更通知と収集障害通知の分離
Blueprint継承権限 取得APIを実行して確認(8章) 収集処理への統合、AgentIdentityBlueprint.Read.Allの付与

第6回ではSponsor一覧APIについて、公式リファレンスで委任アクセスがサポートされないとされる一方、グローバル管理者の委任トークンで成功する挙動を観測しました。
本番の定期収集は、この未サポートの挙動に依存しない設計にしてください。公式に記載されたアプリケーション権限の要件を確認し、強い権限を持つ収集主体を分離します。


11. 今回わかったこと・まだ確認できていないこと

項目 状況
Agent Identity 1件のInventory取得 第6回で実測
Owner 0件・Sponsor 1件・直接権限1件 第6回で実測
SuccessとErrorを区別するCSV設計 第6回で実装・実測
継承権限がGraphから列挙できないこと 公式ドキュメントで確認(第6回の観測とも一致)
今回の差分比較PowerShell 模擬CSV13ケースで実行・判定を確認
実際の権限削除・復元の検出 実テナントで実測(RemovedDisplayNames / AddedDisplayNames)
実際の403を収集障害として扱う判定 実テナントで実測(Unknown / UnknownCollection、変更イベント0件)
429の挙動 模擬CSVのみ(Graphの実応答では未検証)
値の欠落・件数不整合の判定 模擬CSVで確認
Blueprintのinheritable permissions取得 実テナントで実測(allAllowed / none)
Owner / Sponsorの実変更検出 未検証
Agent一覧の完全性を保証する仕組み 未実装
権限IDによる比較 拡張案・未統合
Blueprint側の継承設定・同意の差分監視 取得は実測済み・差分監視への統合は未実装
定期実行・通知 未実装

12. まとめ

AI Agentの権限監視では、差分を見つけることより、比較してよいデータかを判断することが重要です。

  1. Success / 0件とError / 未取得は違う
  2. Graphの403や429を権限削除として通知しない
  3. Owner / SponsorはIDの集合で比較し、並び順の違いを無視する
  4. Agent一覧の取得が不完全なら、消失判定を行わない
  5. 継承権限はAgent Identity側から列挙できない。Blueprintのinheritable permissionsと同意を監視する

第6回のInventoryは「今の状態を知る」ための台帳でした。第7回では、それを**「変化した」「変化していない」「確認できない」を説明できる監視**へ発展させました。

今回の実機検証では、権限を本当に削除したケースと、取得権限を失って403になったケースが、同じ台帳の上で別の判定になることを確認できました。
前者はRemovedDisplayNames(割り当ての収集は成功したうえで0件)、後者はUnknownCollection(そもそも比較できない)です。


次回予告:第8回

AI Agentが実行した操作は誰の責任? Microsoft Entra IDとMicrosoft Graphで監査ログの追跡可能性を検証する

次回は、認証トークンの主体とサインインログ・監査ログの記録を突き合わせ、Agentの操作をどこまで追跡できるかを考えます。

連載の予定

  1. 概念編:Delegated / Application / OBO
  2. Token実測編:scp / roles / oid / appid / xms_*
  3. Agent ID編:Agent Identity / Blueprint / FIC / Service Principal
  4. Security編:Prompt Injection × Graph権限 × Least Privilege
  5. Governance編:Owner / Sponsor / Access Package / Lifecycle
  6. Inventory編:Agent Identity × Microsoft Graph × 権限棚卸し
  7. Monitoring編:誤検知を抑えた権限変更の検出(本記事)
  8. Audit編:サインインログ・監査ログでAgentの操作を追跡する

参考資料

1
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
1
0

Delete article

Deleted articles cannot be recovered.

Draft of this article would be also deleted.

Are you sure you want to delete this article?