公開グループの使用は残念ながらアイデアに上がってます

英語ですが回答があります。

There is an easier way to stop the double counting! In your report, add a filter which has the following criteria:

Event Invitation equals False.

You'll notice that the report will only return the assigned person and not the invitees.
https://trailhead.salesforce.com/trailblazer-community/feed/0D54S00000A7MxRSAV

実際にはこのオブジェクトのIsInvitee項目のことかな。
EventRelation

アクティビティ設定で [複数の取引先責任者を関連付ける] を有効にしてますよね？

この場合はおそらく、２人目からは別のオブジェクトを使って参照関係を作っていると思います。

２人目からは上記オブジェクトでEventIdをキーに検索してみてください。
取引先責任者はRelationIdのうち 003で始まるIdが取引先責任者です。残念ながら処理を追加しないとできないと思います。

この項目ですが行動に招待された人( EventRelation )というオブジェクトのレコードとして保存されています。

このオブジェクトはカスタムレポートタイプでも、レコードトリガーフロー、Apexトリガーでもオブジェクトのオプションとして出てこなんですよね。

ただし、SOQLのクエリーでは使うことができるので、
スケジュールされたApexバッチやスケジュールされたフローで招待された人を検索して行動オブジェクトのカスタム項目に名前をカンマ区切りなどで追加はできると思います。

カスタム項目にしてしまえば、レポートにも表示できると思います。