あったぁって思ったけど、逆でした。
元の質問
get all permission sets that are empty or unassigned
リレーションシップ名が分からんかったなぁ。
Please use Assignments. The below query works:
Select Id, (Select Id, PermissionSetId, AssigneeId,
Assignee.FirstName, Assignee.LastName,
SystemModstamp From Assignments)
From PermissionSet p