Linuxのデスクトップ経由でインストールされているものとして書いています。

まずはChromeリモートデスクトップを停止します。
/opt/google/chrome-remote-desktop/chrome-remote-desktop --stop

設定ファイルを一応バックアップを取ります。いらないひとはとらなくてok
sudo cp /opt/google/chrome-remote-desktop/chrome-remote-desktop /opt/google/chrome-remote-desktop/chrome-remote-desktop.orig

そして設定ファイルを編集します。エディタは各自すきなのでどうぞ
sudo nano /opt/google/chrome-remote-desktop/chrome-remote-desktop

DEFAULT_SIZES を検索して　DEFAULT_SIZES = "1600x1200,3840x2560" とかになってるのを

DEFAULT_SIZES = "1920x1080,1600x1200,3840x2560"　と修正

ディスプレイナンバーが20とかなってるので
FIRST_X_DISPLAY_NUMBER = 0 と修正

あとは以下を#をつけてコメントアウトします。たくさんあるので間違えないようにしてください。
#while os.path.exists(X_LOCK_FILE_TEMPLATE % display):
# display += 1

#logging.info("Starting %s on display :%d" % (xvfb, display))
#screen_option = "%dx%dx24" % (max_width, max_height)
#self.x_proc = subprocess.Popen(
# [xvfb, ":%d" % display,
# "-auth", x_auth_file,
# "-nolisten", "tcp",
# "-noreset",
# "-screen", "0", screen_option
# ] + extra_x_args)
#if not self.x_proc.pid:
# raise Exception("Could not start Xvfb.")

そして保存

保存が終わったら
/opt/google/chrome-remote-desktop/chrome-remote-desktop --start

としてChromeリモートを復活させてください。

備考
たまに違うユーザーとかで設定をいじると同じPCで2個のChromeリモートデスクトップが2個待機状態になったりして
リストに名前があるのにアクセス出来ないという状態が起きる場合があります。

また、ホスト名が同じハードウェアも同じＡディスクのLINUXとＢディスクのLINUXがおなじPCとみなされて
アクセス出来ない場合もあります。

UnityでChromeリモートを設定してGnomeで設定をいじってもおかしくなる場合があるので
環境をかえる場合はホスト名をユニークにするか古い環境のデスクトップ共有は無効にしてから破棄するほうが良いかもです。

再現性の確認ができてないですが3つの状況が過去にあったりしました。

「検証不足自己責任でおねがいします。」

上記のように直接設定をいじるとGoogleからは別PCかもしれないと思われてるのかもしれないです。
設定をいじる場合は別PCなどから半透明な端末を無効化しておくとうまくいくみたいです。