ホームサーバとして使用しているマシンのHDDから異音がし始めたため、Disk交換と併せてSSDと仮想環境を導入することにしました。
管理の手間を考えてvSphereにしてみましたが、KVMと比べて、どちらの方がパフォーマンスが良いのか気になるところ。。
ESXi 5.1の情報がまだ少ないようなので、メモとして残しておきます。

ESXi 5.1環境を作成して、Windows Home Server 2011(以下、WHS)をインストールするまでのメモ

サーバ構成

CPU: Intel Core i5 2400S @2.5GHz
Memory: 8GB
HDD: AGT4-25SAT3-128G(SSD 128GB)、TOSHIBA HDD 1TB(Bulk)、Seagate HDD 2TB(Bulk) ※RAID無し
MB: Intel DQ67EP
NetworkAdapter: Onboard(Intel 82579LM)

Version

VMWare vSphere Hypervisor(ESXi) 5.1.0 Build 799733
vSphere Client 5.1.0 Build786111
Windows Home Server 2011(Guest OS)

用意するもの

USB Flash 1GB以上
WHS インストールDVD

1.ESXiインストール

(1)
VMWare公式ページより VMWare vSphere Hypervisor 5.1 をダウンロード。
※ずっと前にPlayerをダウンロードしたときのアカウントでログインするも、使用許諾以降に進めず。。。仕方なく別アカウントを作成してダウンロードした。
※ダウンロードページにライセンスキーが表示されているので注意。

(2)
このままインストールしようとしても、ネットワークアダプタが見つからないと怒られるので、次のように iso をリパッキングする。

ESXi-Customizer をダウンロード
有志作成ドライバをダウンロード
ESXi-Customizerを使って、tgzをisoにリパッキング
※リパッキングしようとすると警告が表示されますが、そのままOKで良いらしいです。自分の場合は、指示に従って ESXi5 Community Packaging Tools を使って、tgzからvibに変換してからリパッキングしました。

(3)
Unetbootin を使用して２で作成した iso からBootableUSBを作成。

(4)
サーバのBoot順位を変更してUSBからブートして、インストーラに従ってインストール。
※SSD1台、HDD2台で構成しますが、まずはSSDのみで起動しました。

(5)
インストールが完了したら、USBを抜いてRebootしますが、このままRebootしてもOSが見つからなくて失敗します。
BIOS設定に入って、UEFIを使用してBootするように変更します。
※UEFIにしなくてもSATA設定からAHCIでなく、RAIDに変更することでも起動できましたが、何となく気持ち悪いのでUEFIにしました。

(6)
ESXi起動後、F2を押して設定に入り、SSHの有効化とIPの固定化を実施。
実施後、念のため再起動。

2.ゲストOSインストール前準備

(1)
クライアントPCから http://<設定したIP> へ接続して、vSphereClientをダウンロードしてインストール。
※自分の場合は、Hypervisorと一緒に落としていたので、それからインストールしました。
※インストールしたHypervisorと同じバージョンでないと上手く動かないことがあるらしいので5.1をインストールします。

(2)
HDD2台を接続して、サーバを再起動。

(3)
vSphereClientをインストールした時に作成されたショートカットのプロパティを開き、リンク先項目に「 -locale en」を追記する。
※日本語環境で作業するとストレージの追加ができないバグがあります。（Build786111現在）

(4)
vSphereClientを起動して、Configuration->Licensed Featuresからライセンスを登録。
※Hypervisorダウンロードページに記載されていたもの。

(5)
同Configuration->Time Configurationから正しい時刻へ変更。

(6)
同Configuration->StorageからAdd Storageを選んで、Disk/LUNから後はデフォルトで進んでストレージを追加。

(7)【任意】
あると便利らしいので、vSphere CLIをインストール。
１のページにもリンクはあるものの、何故かnot availableとなっているので、Googleから直接リンクを辿ってインストーラをダウンロードしました。
vSphereCLI

3.WHSインストール（ゲストOS）

(1)
WHSインストールDVDをisoイメージ化する。
※ISO Workshopを使用しましたが、isoファイルに出来れば何でもOKです。
※仮想コンソールから直接マウントしてインストールも試していますが、Boot前にデバイスを認識させることができず断念。。

(2)
Configuration->StorageのDatastoragesから適当なデータストレージを右クリックしてBrowseDatastorageを選択。
開いたダイアログから１で作成したisoファイルをアップロードする。
（isoファイルを貯めておくところがあった方が後々楽かも）

(3)
vSphereClientを起動して、仮想マシンを作成。
CPU1ソケット2コア
メモリ3GB
HDD350GB
※HDDの容量が少ない（120GB以下？）と失敗するので、多めに設定。
※SSDにインストールすることを考えていましたが、cfg.iniを用意したりと面倒になったのでHDDにインストールしました。

(4)
作成した仮想マシンの設定を開いて、CD/DVD DriveのDeviceTypeをISO Fileにし、アップロードしたファイルを指定する。
Device Statusの「Connect at power on」にチェックを入れてOK。

(5)
仮想マシンを開始（Power On）して、後はインストーラの指示に従って放置。
インストール完了後、VMWareToolsをインストールする。

(6)
WHSのバックアップ用ストレージを仮想マシンの設定から追加する。
※何となく300GBくらいでストレージを作成しました。
※後からストレージ容量を増やしたい場合は、vSphereClientから仮想マシンへの割り当てを増やしてから、ゲストOS上でパーティションの拡大を行います。

余談

現在稼動しているWHS2011から仮想イメージを作成しようと vCenter Converter も使ってみましたが、最終的にファイルを吐いている途中でオペレーションタイムアウトとなってしまったため断念。
結果的には断念しましたが、途中で躓いたことをメモしておきます。
・クライアントにConvertServerをインストールして、サーバの仮想イメージを作成する際は、サーバ側のファイアウォールを変更しておく必要がありました。
・VMWare Workstationイメージに変換する場合の出力先は共有ディレクトリである必要があるようです。クライアント側で適当なフォルダ(C:\vmとか)を共有化してフルコントロールを付けてやれば、ウィザード上はクリアできました。
・仮想イメージの出力先のドライブがFAT32等である場合、「2GB単位の分割」を指定しておく必要がありました。