Apexトリガーでカスタムの入力規則が設定されていることはないでしょうか?
数式では添付ファイルの入力規則は作ることができない
リファレンスを見てもFileExtensionが読み取り専用とは書かれてないみたいですが、不思議な項目のようです。
PathOnClientに拡張子として指定すると FileExtension を変更できるようなことが回答されています。
ContentVersion cv = new ContentVersion();
cv.Title = 'Test Image';
cv.PathOnClient = 'Test_Image.jpg';
https://salesforce.stackexchange.com/questions/265837/contentversion-fileextension