デモの様子

使ったアイコン

CodePen 用に CDN 経由で使えるものを選択しただけなので、もちろん他でもです。

a.button-with-icons::after {
  font-family: 'Material Icons';
  content: '\e038';
  /* 中略 */
}

a.button-with-icons:hover::after {
  font-family: 'Material Icons';
  content: '\e87d';
}

デモで書いたコードはこちらです。