既に履歴として付いてしまったものは
vim $HISTFILE (=~/.zsh_history)
などと履歴ファイルを直接編集し、普通にエントリを削除するだけでOK。
なお、パスワードを直接コマンドラインで渡すなど事前に予見出来る場合は
setopt HIST_IGNORE_SPACE
と設定した前提で、先頭スペースを付けておけばログには記録されないので安心。
参考
How to remove an entry from the history in ZSH - Stack Overflow
おまけ
oh-my-zshの履歴の部分検索の設定例
source $ZSH/plugins/history-substring-search/history-substring-search.zsh
# bind k and j for VI mode
bindkey -M vicmd 'k' history-substring-search-up
bindkey -M vicmd 'j' history-substring-search-down
詳細はこの辺が参考になりました。
zsh-users/zsh-history-substring-search