Atomのデフォルトの動作では、起動時に前回終了時のウィンドウをリストアします。
Atomはメモ帳代わりに使っているのでデフォルトではOffになっていてほしい機能です🙍
これを無効にするには、設定ファイル(config.cson)にcore.restorePreviousWindowsOnStartを追加してfalseに設定します（Atom1.8以降）。
config.cson
"*":
core:
# ...
restorePreviousWindowsOnStart: false # 追加
# ...
config.csonにcore.restorePreviousWindowsOnStartを追加するとSettings画面にも項目が表示されます。こちらでOn/Offを切り替えることも可能です。
これで晴れ晴れとした気持ちで使えます🙆