2
0

More than 5 years have passed since last update.

GCE で Docker を使ってアプリを継続稼働しているとアプリ内からネットに繋がらなくなることがある

Last updated at Posted at 2018-05-29

突然ネットに繋がらなくなることがある

  • 利用者からなんか動かなくなったんですけど???と問い合わせが来る
  • つらい
  • 何も設定を変えていない
  • docker image どころか コンテナも変わっていない
  • なのに,アプリから外部の通信ができなくなった

何もしてないのに動かなくなった!!!どうしたらいいですか??!

結論

コンテナ通信の理解 — Docker-docs-ja 17.06.Beta ドキュメント

ホスト側(GCE上のVMインスタンス)のネットワーク設定がホストメンテナンスで変わった(たぶん iptables が再起動した)っぽい.この場合,docker の daemon を再起動するぐらいしか簡単な解決策が思いつかない.

4.4.0-112-generic#135~14.04.1-Ubuntu-SMP
$ sudo service restart docker

これで再度コンテナを立ち上げ直し,中に入って ping などして疎通確認できた.

今後どうする

GCE のホストメンテナンスで iptables が再起動し,そのたびに Docker アプリがネット接続できなくなってしまうとなると,そのたびに daemon を再起動しなくてはならなくて,とてもめんどい.めんどいというか,利用者から連絡くるまで気がつけない.Slack 通知などのアラートも出せない.

微妙な解決案

ホスト側の /tmp などをコンテナ内のどこかにマウントして,コンテナ内で疎通確認を定期実行してダメならば /tmp に outbound_error とかファイルを書き出して,ホスト側でも定期的にそれを検知して...みたいな若干残念な仕組み...

GAE を使え

ですよね.でも,ものすごく低コストで運用しなければならないという事情があり,今回は使えない.

Docker イメージを直接 VM にデプロイ

ベータ版機能ではあるが,GCE には Docker イメージを直接 VM にデプロイできる機能がある.これを利用すれば,おそらくはライブマイグレーションにもちゃんと対応してくれて,メンテナンスが少なくてすむはず.これでいこう!
(いろいろ構築し直さないといけないが.................)

2
0
0

Register as a new user and use Qiita more conveniently

  1. You get articles that match your needs
  2. You can efficiently read back useful information
  3. You can use dark theme
What you can do with signing up
2
0