goshだけに限った話ではないと思うけど。
gosh上で<C-h>押すと「^H」とか入力されちゃって、調べてみたら以下を発見。
まぐろ開発日記 » Blog Archive » OS X + gosh でデリートキー(バックスペース)矢印キーがきかない
環境は MacOS 10.7.5。
rlwrapはhomebrewでインストール。
$ brew search rlwrap
rlwrapをつけてgoshを起動する。
$ rlwrap gosh
<C-h>でバックスペースになるし、<C-p>で履歴も呼び出せる。