Unity5.5.0f3で調べました。
Base LayerとSubStateMachineが1ずつあるという想定です。
[ Base LayerのEntryが呼ばれるタイミング ]
・SubStateMachineの (Up) からBase Layerを指定して遷移してきたとき
・BaseLayerのExitに遷移したとき
[ SubStateMachineのEntryが呼ばれるタイミング ]
・Base LayerからSubStateMachineを指定して遷移したとき
Animator起動時や遷移先がなくなった場合などは
デフォルトのStateから直接始まるためEntryは呼ばれず、遷移判定も行われないため注意。
それぞれのEntryが呼ばれるタイミングで
Entryに設定したTransitionの判定が行われます。
また、StateMachineBehaviourのOnStateMachineEnterもそのタイミングで呼ばれます。
何か間違ってたらご指摘下さい。