(追記） 最近のバージョンのDockerでは、「prune」オプションが追加されましたので、お手軽に削除できますな。ついでに、imageもprune、systemもpruneできますね。
Stopしているコンテナをまとめて削除する。
$ docker container prune
WARNING! This will remove all stopped containers.
Are you sure you want to continue? [y/N] y
確認不要なら、 -f オプションをつける。
$ docker container prune -f
Docker Versionが古い場合は、下記のコマンドで。
$ docker rm $(docker ps -aq)
ps コマンドの -q オプションで、コンテナIDのみを取得します。
-a オプションで、全てのコンテナ（止まっているコンテナも）を対象にします。
なお、動いているコンテナは、エラーになって削除できません。
-f オプションで、強制削除できます。
$ docker rm -f $(docker ps -aq)