簡単に設定できるかと思いきや苦戦したのでQiitaに残しておきます。
設定方法
https://create-react-app.dev/docs/importing-a-component/#absolute-imports
記事内のAbsolute Importsというところを参考に設定すると簡単に絶対パス指定ができます。
追記
本当は@から始まるパスを書きたかったけど、色々試してもダメだったので大人しくリファレンス通りに設定しました。
Viteとかだとまた@から始まるパスを簡単にできるらしい。