Microsoftのコミュニティに、Outlook予定表へのGoogleカレンダーの同期解除方法という質問が上がっており、私も同じ問題で悩んでいたのですが、理由と解決策がわかったのでメモっておきます。
残念なことに元のスレッドはすでにロックされており、書き込めないのでこちらに残しておきます。
私の場合の原因はGoogleカレンダーアカウントからOutlookアカウントにメール転送設定がされていたためでした。
誰かが私のGoogleアカウントに対して会議を招待すると、invite.icsファイルの添付されたメールがGmailに届きます。
そしてそのメールが転送設定によりOutlookに転送されてきます。Outlookはそのinvite.icsを自動で取り込み、自身のカレンダーに予定を追加していることが原因でした。
今はGmailの転送設定に「invite.icsが含まれていたら転送しない」という設定を追加しました。これで、Googleカレンダーに追加された会議が勝手にOutlookに登録されるということがなくなりました。