mackerelを導入しているサーバのインスタンスタイプを変更したときにはまったこと

内容

mackerel-agentが導入されているインスタンスのインスタンスタイプをあげようとしたときに起こった話。一部思い出しながら書いているので、間違いがあるかもしれません。

システム概要

• AWS
• mackerel-agent 0.16.1
• Centos7

起こったこと

• インスタンスタイプを変更するため、稼働中のサーバを管理コンソールからStopさせ、インスタンスタイプを選択し再起動した
• 再起動後Mackerelの管理コンソールを見るとConnectivityのアラートが出たままだった。
• mackerel-agentを見ると下記のエラー

2015/06/08 12:45:39 CRITICAL main Failed to prepare host: Failed to find this host on mackerel (You may want to delete file "/var/lib/mackerel-agent/id" to register this host to an another organization): Get https://mackerel.io/api/v0/hosts/XXXXXXX: dial tcp: lookup mackerel.io on 10.0.0.2:53: dial udp 10.0.0.2:53: network is unreachable

• organizationがかぶってるとのログ？

解決方法

• ログの内容はよくわからないです
• systemctl status mackerel-agent を実行するとstatusはactiveになっていた
• psを確認するとプロセスはおらず
• 一度mackerel-agentを停止させるとsystemdがerrorを吐いた
• /var/run/lock/subsys/mackerel-agent が存在していて、systemdとしてはmackerelが起動していると判断していた？
• このファイルを削除したら無事起動しました。

よくわかってないところ

• /var/run/lock/subsys/mackerel-agentはOS停止時にスクリプトで削除されないのでしょうか
• 停止のさせ方の問題なのかもしれないです（shutdown -h now だったら問題なかったかも）
• mackerelというよりsystemdの問題でしょうか