例などにある ubuntu の base image は apt-line が archive.ubuntu.com になっていて、 apt-get install などが遅いです。
日本で使うのなら日本のミラーを使った方が良いので、 そういう base image を作ります。
base image はあまりカスタマイズせずに、 派生するイメージにDockerfile などを使って カスタマイズをした方が望ましいのですが、 ほぼ必須のものを毎回インストールするのは無駄なので、 ついでに日本語 locale を入れるというカスタマイズもしておきます。
詳細は dockerのカスタムベースイメージを作成する です。