アイデアに上がっていますね。
Display in new window not working for button using a Salesforce URL in LEX
Custom Button to open new window for creating new custom object record
https://trailhead.salesforce.com/trailblazer-community/feed/0D54S00000A7p5hSAB
URL Hackを使ってクイックアクションと組み合わせるとモーダル(別画面)画面に表示することができそうです。
Salesforce URL Hack in Lightning
https://newstechnologystuff.com/salesforce-url-hack-in-lightning/
プロファイルによる表示非表示の制御
この問題を解決するための良い方法は、数式項目を作成し、HYPERLINK 関数 (ボタンに見えるようにハイパーリンクに画像を追加する) を利用してリンクを条件付きで表示することです。たとえば、次の数式では「システム管理者」ユーザのみへの Google ハイパーリンクが表示されます。
IF(CONTAINS($Profile.Name,"System Administrator"),HYPERLINK("http://www.google.com/" ,"Button name")," ")
他のどのユーザも「ボタン」(画像) を表示できません。
カスタムリストボタン
思考錯誤した結果、Visualforce→Apex経由でLWCが呼び出せる可能性が出てきた