Unity:2021.3.5f1
Windows11
解決したのでメモ。

経緯

タイトルのまま。
Windowsでビルドして、実行ファイル(.exe)を実行したら全画面表示になった。
本当は下図（右側→）みたいに、ウィンドウ内にゲーム画面を表示したかった。

まずは結論

１．Edit>ProjectSetting>Player>Resolution and Presentationを開く。

２．Resolution and Presentation内にて、

これでビルドしたら、理想通りにウインドウにゲーム画面を表示できました。

（とりあえず動けばいいやって方はここからは見なくても大丈夫）

↓　上で設定した内容の中身について　↓

設定のなまえ	内容
Fullscreen Mode	起動時、全画面表示にするかどうか。
Resizable Window	ウィンドウサイズを変更できるようにするか。 ※このチェックを外すと、全画面表示は使用できなくなる。
Allow Fullscreen Switch	これにチェックすると、PCの全画面キー(※)で全画面モードとウインドウ表示を切り替えられる。

※全画面表示はwindowsならF11キー

↓　Fullscreenのドロップダウンにある選択肢について　↓　

選択肢	内容
Fullscreen Window	全画面表示。デフォルトではこれになってる。解像度は自動で画面に合わせてくれる。
Exclusive Fullscreen (Windows専用)	全画面表示。解像度は自分が選択した解像度（※）になる。
Maximized Window (Mac専用)	上に同じ。
Windowed	ウインドウ表示。ウィンドウの大きさを変えられる。 ※ウインドウの大きさを固定したいときは「Resizable Window」にチェック。

※自分が選択した解像度とは：上記「Exclusive Fullscreen」または「Maximized Window」を選択してビルド→アプリ実行すると、最初に「解像度を選択する画面（参考）」が出る。そこで設定した解像度のこと。