Auraコンポーネントのボタンをクリックしてクイックアクションを起動させるのにe.force:navigateToURLを使っています。

デスクトップでブラウザから操作すると問題なく機能しますが、モバイルアプリではレコードの登録はできても、画面が閉じられません。またキャンセルボタンも機能しません。

やはりURLで指定するとモバイルアプリでは機能しないのかもしれない。
以下のヘルプの内容にも関係しているのかな？

Salesforce モバイルアプリケーションのアクションに関する考慮事項
https://help.salesforce.com/s/articleView?id=sf.actionbar_considerations.htm&type=5

Salesforce Classic で URL カスタムボタンを使用してパラメータを標準ページに渡している場合 (レコードの作成時に項目に事前入力する場合など)、Salesforce モバイルアプリケーションでは機能しません。