なぜか~/.Xauthorityの所有者、所有グループがrootになっていたから
sudo chown 1000:1000 ~/.Xauthority # インストール時に作ったユーザーなら大抵UID,GIDどちらも1000なはず
sudo chown ${USER}:$(id -gn) ~/.Xauthority # こっちのほうがいいかも
してあげたらログインできるようになった
実行する際は一般ユーザーで!
環境: Ubuntu 18.04.3 Japanese remix amd64