Windows Terminalのsettigs.jsonのprofiles.listに追加します。

[
    {
        "guid" : "{【一意なGUID】}",
        "commandline" : "\"%PROGRAMFILES%\\Git\\git-cmd.exe\" --cd-to-home --command=usr/bin/bash.exe -l -i",
        "icon" : "%PROGRAMFILES%\\Git\\mingw64\\share\\git\\git-for-windows.ico",
        "name" : "Git Bash"
    },
    {
        "guid" : "{【一意なGUID】}",
        "commandline" : "C:\\tools\\msys64\\msys2_shell.cmd -msys2 -defterm -no-start",
        "icon" : "C:\\tools\\msys64\\msys2.ico",
        "name" : "MSYS2"
    },
    {
        "guid" : "{【一意なGUID】}",
        "commandline" : "C:\\tools\\msys64\\msys2_shell.cmd -mingw32 -defterm -no-start",
        "icon" : "C:\\tools\\msys64\\mingw32.ico",
        "name" : "MSYS2 MINGW32"
    },
    {
        "guid" : "{【一意なGUID】}",
        "commandline" : "C:\\tools\\msys64\\msys2_shell.cmd -mingw64 -defterm -no-start",
        "icon" : "C:\\tools\\msys64\\mingw64.ico",
        "name" : "MSYS2 MINGW64"
    }
]

【一意なGUID】はPowerShellでNew-Guidと実行して生成してください。上のMSYS2はChocolateyで入れているので、パスが"C:\tools\msys64"に入っています。別の所にインストールした場合は、パスを変えて下さい。

各コマンドはcmderの設定を参考にしました。