直接UE4とは関係ありませんが、Customize Visual Studio Window TitleというVisual Studio用のアドオンを紹介します。

ダウンロードページは以下
https://marketplace.visualstudio.com/items?itemName=mayerwin.RenameVisualStudioWindowTitle

プラグインについて

UE4のプロジェクトで開発を行う場合、バージョン違いなどで複数のVisual Studioを開くケースがあるかと思います。このプラグインを導入していると親ディレクトリまでをウィンドウタイトルに表示してくれるので、親のディレクトリ名にバージョン名などをつけていれば、どのウィンドウが何を開いているかソリューション名が同じ場合でも判断できるようになります。
すごく単純な機能ですが、個人的にVisual Studioを使うなら必須というぐらい便利です。

インストール方法

ダウンロードページよりプラグインを保存し、VisualStudioが入っている環境であればダブルクリックでインストールが可能です。
https://marketplace.visualstudio.com/items?itemName=mayerwin.RenameVisualStudioWindowTitle

その後Visual Studioを再起動するとデフォルト設定で親ディレクトリが表示されるようになります。