AppBarLayout の View インスタンスに対して、下記のように addOnOffsetChangedListener() をセットすればOKです。
someAppbarLayout.addOnOffsetChangedListener((anAppbarLayout, verticalOffset) -> {
float per = ((float) Math.abs(verticalOffset) / someAppbarLayout.getTotalScrollRange());
// .. something to do
});
AppBarLayout の縮み具合によって変数 per(float) の値が 0.0〜1.0 の間で変わるので、あとはお好きな演出を。