https://about.gitlab.com/downloads/#centos6
基本的には上記GitLabのサイトにCentOSでの手順が載っているので、それと大きく違いはないのですが、微妙な違いでつまずいたので、メモ。

とりあえずルートで作業

sudo su -

sendmailを止める（postfixを使うのにそのままだとポートが被るらしい）

# サービスの停止
$ service sendmail stop

# サービス状態確認（stopしていることを確認）
$ service sendmail status
sendmail is stopped
sm-client is stopped

# 自動起動をOFF
$ chkconfig sendmail off

# 自動起動の状態確認（全てoffになっていることを確認）
$ chkconfig --list sendmail
sendmail       	0:off	1:off	2:off	3:off	4:off	5:off	6:off

postfixをインストール

# インストール
$ yum install postfix

# 起動
$ service postfix start

# 自動起動するよう設定
$ chkconfig --add postfix

# 自動起動の状態確認（全て2〜5がonになっていることを確認）
$ chkconfig --list postfix
postfix        	0:off	1:off	2:on	3:on	4:on	5:on	6:off

gitlabをインストール

$ curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh | sudo bash
$ yum install gitlab-ce
$ gitlab-ctl reconfigure

後はAWSのセキュリティグループの設定でHTTPでのインバウンドが可能なことを確認して、ブラウザでアクセスすれば完了。

初期ルートアカウントは下記の通り

Username: root 
Password: 5iveL!fe