結論

Option + 矢印キー

#余談
特に何も設定しなくても Esc + F or B で移動できるが押しにくすぎる
少し調べるとiTerm使ってる場合の設定方法ばっかり出てくる(今まではこれでCtrl + F or Bに設定してた)
Visual Studio Code Terminalで楽に設定できないか調べると、何も設定しなくともまさかのOption + 矢印キー...
もしやと思ってCmd + 矢印キー試すとCtrl + A or Eと同じ動きをしてびっくりドンキー

余談2

ググる過程で見つけた Option + クリックも、
任意の場所に一瞬でカーソルを飛べるので便利

一応確認時のバージョン

zsh 5.8 (x86_64-apple-darwin20.0)
Visual Studio Code Version: 1.58.0
macOS Big Sur Version 11.4