環境依存かもしれませんが、Windows 上の Ruby から java コマンドを直接呼ぼうとしても見えないようなので、cmd 経由で呼びます。
irb(main):001:0> `java`
Errno::ENOENT: No such file or directory - java
from (irb):1:in ``'
from (irb):1
irb(main):003:0> `cmd /c java -version`
java version "1.7.0_51"
Java(TM) SE Runtime Environment (build 1.7.0_51-b13)
Java HotSpot(TM) 64-Bit Server VM (build 24.51-b03, mixed mode)
=> ""
ただしこの方法では java がインストールされていなくても例外が発生しないため、$? で exit コードが 0 かどうかを確認する必要があります。
$?.success? #=> true or false