TL;DR
go test `go list ./... | grep -v 除外したいパッケージへのpath`
解説
go test の後ろにはテストしたいパッケージ名を書いていく。(全実行したい場合は go test ./...)
go test internal/hoge internal/fuga
go list を実行すると次のようにパッケージのリストを出力してくれるので
github.com/seya/test/server/internal/hoge
github.com/seya/test/server/internal/fuga
除外して欲しいものをgrepで除外して渡してあげればok