ホットキーでプログラムのフルパスを渡すと
起動されていれば、
- プログラムをアクテイブにする。
- すでに、アクテイブなら最小化する。
起動されていなければ、起動する。

# 1::RunActivateMinimize("notepad.exe")
# 2::RunActivateMinimize("notepad.exe", "test.txt")

RunActivateMinimize(exePass, exeOption="") {
  SplitPath, exePass, exeName
	Process, Exist, %exeName%
    Sleep, 200
	If (ErrorLevel != 0)
    IfWinNotActive, ahk_pid %ErrorLevel%
  		WinActivate, ahk_pid %ErrorLevel%
    else
      WinMinimize, ahk_pid %ErrorLevel%
    else
      Run, %exePass% %exeOption%
}

更新

2018/11/07 起動オプションを渡せるようにした。

トラブル

~~テスト時に同じホットキーを連打したら、アクテイブと最小化を繰り返すはずが、最小化されたままになる。~~ 解決:途中で Sleep を入れたら連打しても動いた。