python環境構築をやり直したいです。

conda環境とpip環境は併用すべきでない

誤解が無いように申しておきますが、適切な仮想環境を作ればこれらを兼用しても問題有りません。
Anacondaは依存関係の問題を解消する代わりに構成が複雑化&肥大化するので、個人的にAdmin権限の無い限られた環境内でしか使いません。venvで作ったシンプルな仮想環境が好きなのでAnacondaは基本使いません。
condaにはconda固有のやり方があるので、そこら辺にある適当な記事を参考にすると混乱を招きます。

---

というかAnacondaのパッケージ情報を見るとインストールはconda install conda-forge::pyinstallerしろとありますね。こちらは試してるのでしょうか。
インストールは先にpipでインストールしたpyinstaller他諸々を削除してからになりますが。

パス関連でエラーを吐くなら公式情報を参考にしましょう。

あなたの PC の OS は何ですか？

Windows11、MSストアのpython3.11、VScode、pip、pyinstallerを使っています。
anacondaは使ったことがなくてよく知らないのですが、torchがサポートをやめるというニュースもあったので、少なくとも今torchを利用している私は今後もanacondaを使うことはなさそうだと思っています。
pyinstallerでは、できるだけ少ないライブラリでexe化することで、ファイルサイズを小さくしようとしますが、そのために、pyenv＋pipenvや、venvなどの仮想ライブラリ環境でpyinstallerを実行しています。

なので、私の本当のMSストアpython環境は、pipし放題でぐちゃぐちゃですが、venvなどを利用して、きれいな環境をそのプロジェクト毎に作成している感じになってます。

pyinstallerを利用する前提で、pyenv＋pipenvや、venvの記事をQiitaで探されたらいいのではないかなと思います。