2022年の6月にsupabaseの認証がsupabase-auth-helpers から auth-helpers に変更されました。

結論から書くと
supabase-auth-helpersは全部入りの認証ライブラリ。
auth-helpers は個別の認証ライブラリです。

import { UserProvider } from '@supabase/supabase-auth-helpers/react';
import { supabaseClient } from '@supabase/supabase-auth-helpers/nextjs';

と、このように前者はreactとnextjsが一緒に入っています。
それを切り分けたのが後者のauth-helpersです。

import { UserProvider } from @supabase/auth-helpers-react
import { supabaseClient } from @supabase/auth-helpers-nextjs

各フレームワークのライブラリを全部一緒に入れていたのが前者、各フレームワークごとに独立させたのが後者。
React
Next.js
Sveltekit
Remix
今ではこの数だけが対応していますが、これから対応するフレームワークを増やしていくためにライブラリの肥大を避けるため分割したのではないかと思われます。