package.jsonはJSONファイルなので直接不要なモジュールを削除できてしまうのですが、
そのやり方はよくないです。

自分は手動で消して、新しく発生してしまったエラーを見過ごすというミスをやらかしました。

package.jsonの変更履歴を管理しているyarn.lockや、
node_modulesに、削除の操作の履歴が反映されない。
同じリポジトリで作業している他のチームの人に変更を正しくつたえられない、という事態にもなる。

yarn remove {削除したいやつ}

というかんじで操作するように気をつけたいと思いました

そういうときは一度yarnしてみてください。
たぶんエラーになるんじゃないかな

package.jsonからあるパッケージを直接削除して、自分の手元のnude_modulesにはそのまま削除前の情報がのこっている状態での挙動になります。
挙動の違いや、新たに発生したエラー、もしくはエラーが解除できたのか、などの状態をただしくみることができません。