Apexトリガーでカスタムの入力規則が設定されていることはないでしょうか?
数式では添付ファイルの入力規則は作ることができない
リファレンスを見てもFileExtensionが読み取り専用とは書かれてないみたいですが、不思議な項目のようです。
PathOnClientに拡張子として指定すると FileExtension を変更できるようなことが回答されています。
ContentVersion cv = new ContentVersion();
cv.Title = 'Test Image';
cv.PathOnClient = 'Test_Image.jpg';
https://salesforce.stackexchange.com/questions/265837/contentversion-fileextension
Apex トリガーを使って特定の拡張子のみを添付の許可をする方法が提案されています。
https://sudipta-deb.in/2024/02/restrict-uploading-files-in-salesforce.html