それぞれのファイルの説明

vimがクラッシュしてしまうときに備えて作成されているファイルです。
vimでの編集作業前に作られ、編集作業後に自動的に削除されます。
このファイルがあれば、万が一vimが強制終了してしまってもデータを復元できます。

拡張子に~(チルダ)がついたファイル。
バックアップファイルです。
ファイルが保存される前に、編集前のファイルから作られます。
このファイルを使うことで編集前のファイルに戻すことができます。

拡張子が、un~のファイル。
undoファイルです。
ファイルを閉じて開いた後でもundoができるようにするためのものです。

対処法は2つです。
すべてのファイルで2つの方法をとることができます。

①ファイルの出力先を変更する

それぞれのファイルの出力先を変更することができます。
普段は見ないところに置いておけば、邪魔にもならずいざというときに使うこともできます。
vimrcに以下の設定をします。

" swpファイル出力先
set directory=<ファイルパス>
" バックアップファイル出力先
set backupdir=<ファイルパス>
" undoファイル出力先
set undodir=<ファイルパス>

いざ復元したい、というときには困りますが、設定をすることでファイルの出力自体をさせないこともできます。
(undoファイルに関しては引き継がなくてよいということもあるかもしれないですね)
vimrcに以下の設定をします。

" swpファイル出力無効
set noswapfile
" バックアップファイル出力無効
set nobackup
" undoファイル出力無効
set noundofile

このほか、Gitで構成管理をしている場合は.gitignoreに書くということもできます。