アイコンの表示個所を一生懸命探したけど、実際はFont Awesomeで表示しているらしい。
サブディレクトリ以下で動かす時はconfig/gitlab.ymlでrelative_url_root: /gitlabを設定する必要があるが、assetのコンパイル時にFont Awesomeはこれを見ていない模様。
Issue 2162で議論されて、プルリクエストも出ているのでそのうち直ると思うけどとりあえずはasset compile時に
$ RAILS_RELATIVE_URL_ROOT="/gitlab" bundle exec rake assets:precompile RAILS_ENV=production
とすれば対処可能。