アカウントAの管理者ロールをアカウントBで引き受ける（assume)する方法
roleをassumeするとアカウントBからアカウントAへのリソースにアクセスすることができます。
基本的なやり方は、こちらを参考にします。
主な流れとしては
1.アカウントAの管理者がアカウントBがassumeするロールを作成
2.アカウントBにログインして、ロールの切り替えを行う。
の2ステップです。
手順
アカウントAでアカウントBがassumeするロールを作成します。
1.IAMのAWSコンソール画面よりロールの作成を選択します
2.別のAWSアカウントを選択しロールを作成
この後は、アカウントBのIDを入力してアカウントBがassumeするロールを作成します。
アカウントBのユーザーがロールの切り替えを行う際にこのリンクを使用できます。
追記
アカウントAで作成したロールの信頼関係に、アカウントBのIAMユーザーarnを直接追加するだけと、アカウントB側では特に何も設定せずにロールの切り替えができる場合とできない場合がありました。下記のようなポリシーをアカウントB側でroleをassumeしたいユーザーが属しているユーザーグループのpermissionに追加すると確実です。
補足(terraformで環境変数を使用してassumeroleでデプロイを行う方法）
以下が参考になりました。