追記: TL;DR Ubuntu 16.04.3(4.10 kernel) で Ryzen + 1080 Ti 安定動作確認しました.
Ryzen + amdgpu-pro + Ubuntu は 2017 年夏頃まで辛抱が必要
http://qiita.com/syoyo/items/37c4eae70595ac1185bd#_reference-aa7341a2e9e4b12f8d60
なため, NVIDIA GPU ならいけるかと思いましたが, ダメでした...
Ubuntu 17.04 beta2
Ryzen + X370 + GTX 1080 Ti 構成にしてみましたが, Ubuntu 17.02 beta2 のインストーラーでは以下のように nouveau ドライバで fifo SCHED_ERROR が出ました.
インストーラー起動時に nomodeset などを有効にしても同様でした.
一旦 server 版とかでテキストモードでインストールするしかないかもしれませんね.
Ubuntu 16.04 のインストーラーは動きました. ただ, 現時点の 16.04 は kernel 4.8 なので Ryzen のパフォーマンスを引き出すことができません.
17.04 正式リリースでは治るかもしれませんが, NVIDIA GPU の場合もしばらくはソフトウェアやドライバ周りで辛抱が必要そうですね...
(GTX 1080 Ti がダメなだけで, 1080 など古いモデルの NVIDIA GPU であれば動く可能性はあります)