フォントを変更する場合

カスタムフォントを使用する場合。

label.font = UIFont(name:"fontname", size: 20.0)

システムフォントを使用する場合。

label.font = UIFont.systemFont(ofSize: 20.0) 
label.font = UIFont.boldSystemFont(ofSize: 20.0)
label.font = UIFont.italicSystemFont(ofSize: 20.0)

フォントサイズを変更したくないときはlabel.font.pointSizeでフォントサイズを取得できます。

フォントサイズのみ変更する場合

label.font = label.font.withSize(20)