tmux new-session \; new-window
これで 2 ウィンドウ開いた状態で tmux を起動できます。\; new-window を繰り返すことで 3 ウィンドウ以上開くこともできます。
軽く調べた範囲では tmux.conf での設定方法は見つからず、man を見て上の方法にたどりつきました。
.bashrc 等で alias tmux-new='tmux new-session \; new-window' としておくことにしました。
もっといいやり方があれば、知りたいところです。
GNU Screen の場合
余談ですが、GNU Screen の場合、 .screenrc の末尾辺りに以下のように書いておけば同等のことができます。
screen
screen
※ screen は PREFIX + c と同様に、screen 内での仮想端末を新規作成するコマンド