結論
以下の理由により、テキストが見えているときに「visibility」、隠しているときに「visibility_off」を使う方がMaterial Designに沿っているように感じました。
・公式のページにテキストが見えているときに「visibility」を表示している図がある
MATERIAL DISIGN > Components > Text fields > Filled text field
・Android 端末のロック解除画面でもテキストが見えているときに「visibility」が表示される
ただし、色々なアプリを見てみるとテキストが見えているときに「visibility_off」を表示しているものもそこそこあり、用途によりどちらの使い方もアリなのだと思いました。