ちゃっかりハマったので誰かのために書いておきます。
Djangoには、ログイン周りのパッケージとして以下の2つがあります。
・django-rest-auth
・dj-rest-auth
むちゃくちゃ名前が似ているので、ややこしいですが、別物です。
僕はこれが別物と気づかず（というか2つ存在していることに気づかず）結構ハマりました。
django-rest-auth
元からあったDjangoのログインライブラリ。
dj-rest-auth
django-rest-authをフォークして始まったライブラリ。
こちらの一番下に書いてました。
Acknowledgements
This project began as a fork of django-rest-auth. Big thanks to everyone who contributed to that repo!
要するに
django-rest-authは古くて、dj-rest-authこっちが開発が続けられている最新版のライブラリって感じですかね。
元のライブラリ開発した人どこいっちゃったんですかね😢
でも、フォークしてまた開発してくれる人がいるのはマジありがたいですね。。。ライブラリなかったら何も出来ないなんちゃってエンジニアなので、感謝しつつ有り難く使わせてもらいます！！！
終わり。