ほんとうに悩んだ。

c:\workspace\rails new hoge

これを実行してエラーもなく完了する。
しかし

c:\workspace\cd hoge
c:\workspace\hoge\rails new hoge
Usage:
  rails new APP_PATH [options]
（省略）

ってなった。ググると仲間が多い。

エクスプローラーでhogeの中身が物足りないことに気が付いた！

コマンドプロンプトを管理者で実行してからやり直すだけだった。