AppCompatButton同様、MaterialButtonもデフォルトでは textAllCaps="true"で全て大文字で表示されます。

AppCompatButtonの場合は、以下のようにテーマを指定すれば小文字にすることができました。

<style name="AppTheme" parent="Theme.AppCompat.DayNight.NoActionBar">
    <item name="buttonStyle">@style/AppButton</item>
</style>

<style name="AppButton" parent="Widget.AppCompat.Button">
    <item name="android:textAllCaps">false</item>
</style>

MaterialButtonの場合は、指定する属性が少し変わるので注意が必要です。
具体的には、materialButtonStyle という新しい属性を指定します。

<style name="AppTheme" parent="Theme.MaterialComponents.DayNight.NoActionBar">
    <!-- buttonStyleではなくmaterialButtonStyleを指定すること -->
    <item name="materialButtonStyle">@style/AppButton</item>
</style>

<style name="AppButton" parent="Widget.MaterialComponents.Button">
    <!-- MaterialComponentで定義された属性を指定するのでandroid:は不要 -->
    <item name="textAllCaps">false</item>
</style>

以上です。