パフォーマンステストツールでおなじみのJmeterは、コマンドラインで実行することが出来ます。
以下の例ではsample.jmxのテストケースを実行し、その結果をresult.jtlに保存するコマンドです。
例）
jmeter.bat -n -t ../testcase/sample.jmx -l ../testcase/result.jtl
-n コマンドライン実行
-t テストケースを指定
-l 結果ファイルを指定
*そのほかのオプションは以下の公式マニュアルにあります。
http://jmeter.apache.org/usermanual/get-started.html#non_gui
このように記述すると、jtlはxmlで記述されたファイルになります。
しかし、バージョン2.9から出力結果はCSVになったようです。
http://jmeter.apache.org/changes_history.htmlより以下の記述がある。
Result data are now saved to CSV by default (jmeter.save.saveservice.output_format in jmeter.properties)
今までのようにxml形式で出力するには
-Jjmeter.save.saveservice.output_format=xml
のオプションを指定します。
例）
jmeter.bat -n -Jmeter.save.saveservice.output_format=xml -t ../testcase/sample.jmx -l ../testcase/result.jtl
ちなみにこのあたりの設定は${JMETER_HONE}/bin/jmeter.propertiesにあります。
なので、その他の設定も同様のコマンドで設定できそうです。（これは未確認）