Redmineのインストールは、Bitnami Redmine Installer等のオールインワン型インストーラーを使うならあまり迷わなくて済みますが、そういうのを使わずに自分でやろうとすると、選択肢がいろいろあって自分で選ばなくてはならず、けっこう迷います。
本稿では、ネット上に膨大な数が公開されているRedmineインストール手順の一部を紹介していきます。

公式Redmineインストール手順

Installing Redmine
http://www.redmine.org/projects/redmine/wiki/redmineinstall

英語です。特定のOSや環境に依存しない書き方になっていますが、これだけ読んでインストールにたどり着くのは至難の業です。大まかな段取りを把握するためのドキュメントと思っておけばよいでしょう。

OS別Redmineインストール手順紹介

Ubuntu

Redmine 3.4をUbuntu Server 16.04.2 LTSにインストールする手順
http://blog.redmine.jp/articles/3_4/install/ubuntu/

Ubuntu Server 16.04.2 LTS
PostgreSQL 9.5.2 （OSのdebパッケージを使用）
Apache httpd 2.4.18 （OSのdebパッケージを使用）
Ruby 2.4.1 （ソースコードからコンパイル）
Passenger （RubyGemsからインストール）
bundler （RubyGemsからインストール）
Redmine 3.4 （Redmine公式svnリポジトリからダウンロード）

OSのdebパッケージをあまり使わず、ソースからのコンパイルとRubyGemsを多用するインストール手順です。
Redmineのインストールパスは/var/lib/redmineとなっていますが、ここは自由に変更できます。

Ubuntu 16.04(またはRaspbian)にRedmineをインストールする
https://jyn.jp/ubuntu-redmine/

Ubuntu 16.04
MySQL （OSのdebパッケージを使用）
Apache httpd （OSのdebパッケージを使用）
Ruby （OSのdebパッケージを使用）
Passenger （OSのdebパッケージを使用）
bundler （OSのdebパッケージを使用）
Redmine 3.2 （Redmine公式svnリポジトリからダウンロード）

OSのdebパッケージをなるべく使う方向性のインストール手順ですが、Redmine本体はsvnからのダウンロードですので、バージョンを自由に選べます。
Redmineのインストールパスは/var/www/redmineとなっていますが、ここは自由に変更できます。

Ubuntu 14.04にRedmineをインストールする手順
https://www.wildwest-service.com/redmine_on_ubuntu1404/

Ubuntu 14.04
MySQL （OSのdebパッケージを使用）
Apache httpd （OSのdebパッケージを使用）
Ruby （OSのdebパッケージを使用）
Passenger （OSのdebパッケージを使用）
bundler （RubyGemsからインストール）
Redmine 2.4.2 （OSのdebパッケージを使用）

Ubuntuに収録されているdebパッケージ版のRedmineを使う方法です。
バージョンがUbuntu 14.04となっておりちょっと古いですが、Ubuntu 16.04でも基本的に同様の手順で行けるはずです。
Redmine本体は/usr/share/redmineの下にインストールされますが、設定ファイルは/etc/redmine/defaultの下に配置されますので、間違えないようにして下さい。

CentOS

Redmine 3.4をCentOS 7.3にインストールする手順
http://blog.redmine.jp/articles/3_4/install/centos/

CentOS 7.3
PostgreSQL 9.2.18 （OSのrpmパッケージを使用）
Apache httpd 2.4.6（OSのrpmパッケージを使用）
Ruby 2.4.1 （ソースコードからコンパイル）
Passenger （RubyGemsからインストール）
bundler （RubyGemsからインストール）
Redmine 3.4 （Redmine公式svnリポジトリからダウンロード）

OSのrpmパッケージをあまり使わず、ソースからのコンパイルとRubyGemsを多用するインストール手順です。
Redmineのインストールパスは/var/lib/redmineとなっていますが、ここは自由に変更できます。

CentOS7にRedmineを構築する
http://twinbird-htn.hatenablog.com/entry/2016/02/26/203314

CentOS 7.1
PostgreSQL 9.2.14 （OSのrpmパッケージを使用）
Apache httpd 2.4.6（OSのrpmパッケージを使用）
Ruby 2.2.3 （ソースコードからコンパイル）
Passenger （RubyGemsからインストール）
bundler （RubyGemsからインストール）
Redmine 3.2 （Redmine公式svnリポジトリからダウンロード）

上記 Redmine 3.4をCentOS 7.3にインストールする手順の古いバージョンである Redmine 3.2をCentOS 7.1にインストールする手順に基づいていますが、RubyのOpenSSL設定でハマる場合があるとのことで、その対策が追加されています。

CentOS 7 に Redmine 3.3 をインストールする
https://qiita.com/bezeklik/items/483b61c637c805f2945f

CentOS 7.3.1611 (minimal)
MySQL 5.7.18 （OSのrpmパッケージを使用）
Apache httpd 2.4.18 （centos-sclo-rhのrpmパッケージを使用）
Ruby 2.3.1 （centos-sclo-rhのrpmパッケージを使用）
Passenger 4.0.50 （centos-sclo-rhのrpmパッケージを使用）
bundler （centos-sclo-rhのrpmパッケージを使用）
Redmine 3.3.3 （GitHubのミラーリポジトリからダウンロード）

Red Hat Software Collections (RHSCL) 2.3相当のcentos-sclo-rhリポジトリを使う方法です。RedmineそのものはGitHubのミラーリポジトリからのダウンロードです。
Redmineのインストールパスは/var/www/redmineとなっていますが、ここは自由に変更できます。

RedmineをCentOS 7上で動かすーUnicornとNginx編
http://www.torutk.com/projects/swe/wiki/Redmine%E3%82%92CentOS_7%E4%B8%8A%E3%81%A7%E5%8B%95%E3%81%8B%E3%81%99%E3%83%BCUnicorn%E3%81%A8Nginx%E7%B7%A8

CentOS 7.0
MariaDB 5.5 （OSのrpmパッケージを使用）
Nginx 1.7.3 （Nginx公式rpmリポジトリからダウンロード）
Ruby 2.0.0 （OSのrpmパッケージを使用）
Unicorn （bundlerでダウンロード）
bundler （RubyGemsからインストール）
Redmine 3.0.0 （Redmine公式サイトのtarballを使用）

Apache httpd+Passengerではなく、Nginx+Unicornを使う場合の手順です。
Redmineのインストールパスは/var/lib/redmine-3.0.0となっていますが、ここは自由に変更できます。

CentOS7にRedmine3.2を入れ、nginx、unicornで動かす。
https://qiita.com/bikun_bikun/items/30951573fc900d78d0c9

CentOS 7
PostgreSQL 9.2 （OSのrpmパッケージを使用）
Nginx （Nginx公式rpmリポジトリからダウンロード）
Ruby 2.2.5 （ソースコードからコンパイル）
Unicorn （bundlerでダウンロード）
bundler （RubyGemsからインストール）
Redmine 3.2 （Redmine公式svnリポジトリからダウンロード）

これもNginx+Unicornです。
Redmineのインストールパスは/var/lib/redmineとなっていますが、ここは自由に変更できます。

macOS

Redmine を Mac にインストール
https://qiita.com/janus_wel/items/06dae0dec1ff1a886d54

MacOSX 10.10
MySQL （Homebrewを使用）
Apache httpd （インストール済み）
Ruby 2.1.0 （rbenvからインストール）
Passenger （RubyGemsからインストール）
bundler （RubyGemsからインストール）
Redmine （GitHubのミラーリポジトリからダウンロード）

すいませんmacOSはよく知りません。。。

macOS Server

OS X Marvericks + OS X Server 3.0 + Redmine
https://qiita.com/gi0_0iv/items/5c33bb302d463c982cd4

すいませんmacOSはよく知りません。。。

Windows

Windowsの場合はBitnami Redmine Installerなどのオールインワン型インストーラーを使うのが普通だと思いますが、そういうのを使わずに個別インストールにチャレンジした事例を見つけましたので紹介します。

RedmineをWindowsに手動でインストールする手順 No.01
http://natushima.hatenablog.com/entry/2016/06/20/224011

RedmineをWindowsに手動でインストールする手順 No.02
http://natushima.hatenablog.com/entry/2016/06/20/234818

RedmineをWindowsに手動でインストールする手順 No.03
http://natushima.hatenablog.com/entry/2016/06/21/022825

で、どれを選べばいいのか。

OS
オープンソースということでUbuntuとCentOSを中心に見てきましたが、RHELなどの場合も基本的にCentOSと同様の手順で行けるはずです。Windowsの場合はBitnami Redmine Installerなどのオールインワン型インストーラーを使うのが現実的かと思います。

データベース
Redmine.jpによるとMySQL, PostgreSQL, Microsoft SQL Server, SQLite3 の四択なのですが、Microsoft SQL Serverは一番インストールの難しいWindowsで動作する製品ですし、SQLite3は複数ユーザーが同時アクセスする利用条件に弱いので、MySQL, PostgreSQLのいずれかというケースが多いかと思います。また、MariaDBでも動きます。

WebサーバとRails実行環境
Apache httpd+PassengerかNginx+Unicornの二択がメジャーな方法と言ってよさそうです。

Ruby言語
OSに収録されているパッケージを使うか、ソースtarballを頑張ってコンパイルするか、rbenvを使うか。

bundler
gemで持ってくることが多いかと思いますが、UbuntuにもCentOSにもbundlerのdeb/rpmパッケージが収録されていますので、それを使うこともできます。そこはお好みで。

Redmine本体
後々のアップデートの手間を考えると、tarballを展開するよりもRedmine公式svnリポジトリからダウンロードするのがよさそうです。
Ubuntuに収録されているdebパッケージのRedmineを使う方法もありますが、Apache httpdの設定ファイルを自分で書かなければならないため、apt-getして終わりではなく、もう一手間かかります。

その他
ImageMagickとか日本語フォントが必要になるかと思いますが、OSに収録されているパッケージで十分です。
Ruby言語やApahe httpdのmod_passengerなどを自分でコンパイルする道を選んだ場合は、コンパイラや各種開発用パッケージ（ヘッダファイル、ライブラリ）が必要になります。

以上！どの方法を選ぶにしても、実際に採用したインストール手順は必ず記録なり記憶なりするようにして下さい。そうでないと後々のメンテナンスが大変なことになりがちです。幸運を祈る。

リファレンス

Redmineのインストール
http://guide.redmine.jp/RedmineInstall/

インストール
http://redmine.jp/install/

いろいろなRedmineインストール手順の比較