10回以上ラズパイのセットアップを行ってきたので、セットアップ手順をメモります。
VNCでリモートできるようになるまでの手順です。

環境

ラズベリーパイ3A
ラズベリーパイ3B
ラズベリーパイ3B+
ラズベリーパイ4B
で試しました。

用意するもの

ラズパイキーボードマウス電源アダプタ microSD
ラズパイ用モニターラズパイと接続するHDMI
パソコン

PCにOSイメージをダウンロード
ラズパイに刺すマイクロSDにOSインストール
この時のID（名前）とPW控えとく。Wifiも設定しとく。

VNC　ON
日本語設定
ラズパイIP確認

VNC起動
VNCからラズパイ接続 new con
ラズパイIPで接続　
ラズパイNameとラズパイPW、OSインストールするときに控えたやつでログイン
こっからVNCで操作可能。

参考

sudo swapoff --all
sudo systemctl stop dphys-swapfile
sudo systemctl disable dphys-swapfile

swapが0担っていることの確認

free