https://qiita.com/h1na/items/25a08122418df782d2b9
ここにほとんど書いてある

Laravel公式に追加しろって書いてあるPassport::routes(); ←これ

public function boot()
    {
        $this->registerPolicies();

        Passport::routes();
    }

たどってPassport.phpをみてみると、デフォルトのコールバックが$router->all();

public static function routes($callback = null, array $options = [])
    {
        $callback = $callback ?: function ($router) {
            $router->all();
        };
    }

all()って何？って思ったら\Laravel\Passport\RouteRegisterに書いてあった

public function all()
    {
        $this->forAuthorization();
        $this->forAccessTokens();
        $this->forTransientTokens();
        $this->forClients();
        $this->forPersonalAccessTokens();
    }

じゃあ例えば、forAuthorizationとforAccessTokensだけ使いたい！ってなったとき

        Passport::routes(function (RouteRegistrar $router) {
            $router->forAuthorization();
            $router->forAccessTokens();
        });

こうすればいい