こちらのGtiHub Docsが英語しかないため、OIDCとはなにか？に関わる部分のみ短く抜粋していきます。
概要
OIDCというのは、OpenID Connectの省略した呼び名になります。
GitHub ActionsのWorkflowではたびたびAWSやAzureといったクラウドサービスへとアクセスを行います。
workflowがクラウド上のリソースに対してアクセスするためには、事前にクレデンシャル(credential)が必要となります。
クレデンシャルのような永続的な認証を発行してGitHubに保存するのではなく、一時的なアクセストークンをAWSなどのクラウドサービスから発行することで認証とするのがOIDCです。
OIDCがない場合はどうなる？
前述の通り、workflowがクラウド上のリソースに対してアクセスするためには、事前にクレデンシャル(credential)が必要となります。
通常、このクレデンシャルはGitHubのsecretに保存し、クラウドにアクセスする際は毎回このクレデンシャルをsecretから呼び出します。
つまり、ハードコードされたクレデンシャルをGitHubに保存するためにAWSなどのクレデンシャルをコピーする必要があるのです。
クレデンシャルはユーザネームとパスワードのようなものですから、可能な限り複製して複数の場所に保管したりはしたくないですよね...
これを防ぐために、OpenID Connect(OIDC)が存在しているのです。