UnrealEngineで[Number of Players]を2以上にして[NetMode]を[Play As Listen Server]などとしてのPlya In Editorすると最初から接続状態でマルチプレイを確認できます。
途中参加するような場合どうすればいいのか不明だったので試してみました。
その内容を記録しておきます。

試した環境

UE5.5.3のThirdPerson Template

試した内容

以下の接続方法で途中参加のマルチプレイができます。
ただし、ネットワーク速度に制限をかけたような場合も無視されるようです。

[NetMode]を[Play Standalone]に
[Number of Players]を2以上に
[Selected Viewport]でPlay In Editor実施
サーバーにしたいウィンドウのコンソールコマンドで「open ThirdPersonMap?listen」実施 => マップが開きなおされる
クライアントにしたいウィンドウのコンソールコマンドで「open 127.0.0.1」を実施 => 接続

以下の接続方法で、初回接続状態にはなってしまいますが途中参加のマルチプレイができます。
ネットワーク速度に制限をかけたような場合も適用されるようです。

[Advanced Settings]の[Multiplayer Options] > [Enable Network Emulation]をチェック、[Emulation Target]を[Everyone]に、[Network Emulation Profile]を[Bad]にして遅いネットワーク状態を設定
[NetMode]を[Play As Listen Server]に
[Number of Players]を2以上に
[Selected Viewport]でPlay In Editor実施
再接続したいクライアントのコンソールコマンドで「open ThirdPersionMap」を実施 => 切断される（5.をせずにいきなり6,も実施可能）
同クライアントのコンソールコマンドで「open 127.0.0.1:17777」を実施 => 再接続される、Network Badも適用されるかんじ([17777は[Advanced Settings] > [Multiplayer Options] > [Server] > [Server Port]のデフォルトの値)