TL;DR
go test `go list ./... | grep -v 除外したいパッケージへのpath`
解説
go test
の後ろにはテストしたいパッケージ名を書いていく。(全実行したい場合は go test ./...
)
go test internal/hoge internal/fuga
go list を実行すると次のようにパッケージのリストを出力してくれるので
github.com/seya/test/server/internal/hoge
github.com/seya/test/server/internal/fuga
除外して欲しいものをgrepで除外して渡してあげればok