apt remove でパッケージを消そうとしたら、

Failed to stop <*>.service: Unit <*>.service not loaded.
subprocess installed pre-removal script returned error exit status 5

とかエラーが出てパッケージが消せない。

systemd の作法にのっとって service の制御ができていない？

/lib/systemd/system/ フォルダに <*>.service (消したいパッケージのサービス名) がファイルとして存在してないと思います。他のファイルに習って書いてやれば良いのですが、書き込むの面倒（消すので）なので、/dev/null にシンボリックリンク張ります。

cd /lib/systemd/system/
ln -s /dev/null <*>.service

そうすれば service の停止や起動を無視して apt でパッケージが消せるようになりました。