RecyclerViewをGroupViewで囲ったらいけました。くるくる。
レイアウト(NG例)
layout
...中略
<android.support.v4.widget.SwipeRefreshLayout>
<RecyclerView />
</android.support.v4.widget.SwipeRefreshLayout>
レイアウト(OK例)
layout
...中略
<android.support.v4.widget.SwipeRefreshLayout>
<FrameLayout>
<RecyclerView />
</FrameLayout>
</android.support.v4.widget.SwipeRefreshLayout>