最近Vimのプラグインを入れたり設定を頻繁に変えていたら、いつの間にかカーソル移動が異常に重くなっていました。
自分の場合、原因だったのはシンタックスハイライトとカーソル行の可視化設定だったようで、
" シンタックスハイライトON
syntax on
" カーソル行可視化
set cursorline
行可視化を無効にしたらかなり早くなりました。
この他にset cursorcolumn（列可視化）なる設定をしていても重くなるようなので、
移動が重い人はこの辺りを調節してみて下さい。