attachmentタイプの変数に添付できるファイルの拡張子を制限したい場合、
変数属性allowed_extensionsを使用することで実現できます。
実装方法
変数のVariable attributesにallowed_extensionsを入力します。
下図はxlsmの添付だけを許可するケースです。

動作確認
設定した変数に許可していない拡張子のファイルを添付しようとすると
添付できず、エラーメッセージが表示されます。

許可している拡張子のファイルを添付すると以下のように表示されます。

補足
カタログアイテム画面だけでなくAgent画面のリクエストアイテムフォームでも制御されます。

おわりに
クライアント処理でチェックを入れることも可能ですが、たった一行で実装できる便利な機能です。