前置き
2ヶ月も前に素材だけ用意したまま、今日まで公開し忘れていたんですが、もしかしたらこの件でちょうど苦しんでる人がいるかもしれないと思ったので公開に至りました。
結論
表題の通りなのですが、AppBarLayoutはcompileSdkVersion（と、Support Design）がAPI22でビルドされていると、 ツールバー部分をスワイプしても反応がありません。
キャプチャー
両者ともソースは同じで、違いはcompileSdkVersionとsupportライブラリ関連がv22に指定しているか、v23に指定しているかだけになります。
v22でビルドした場合
v23でビルドした場合
このように、ツールバーの部分をスワイプしても、v22の方は何も反応しません。これは思った以上に利便性が悪いです。
特にdesign support関連は、v23で様々な修正や拡張が行われていますので、もし他の理由でtargetSdkVersionを23にできなくても、compileSdkVesionは23に更新しておいた方がよろしいかもしれません。（これによって他の問題が起こるかもしれないので、本来は両方共同時期に更新できるのが望ましいんでしょうが）
参考
https://github.com/romainz/CoordinatorLayoutSample
こちらのプロジェクトを使って、上記の検証やキャプチャーの作成を行いました。