業務中に定めている条件よりも多かったら削除しなければならない機能を実装しないといけないらしいです。
前提として
・最初の何行かは同じ名前になっています。
・ファイル名には時間が書いてあります。
(業務で学んだことなので一部変えています。)

DeleteFile.cs

var file = Directory.GetFiles(path,Extension//拡張子*.txt)
           .Where(hogeFile => Path.GetFileName(hogeFile).StartsWith("とってきたいファイル名")
           .ToArray();

txt拡張子の物を探して取得しています。

上限を超えていなかったら何もしないのですが...

DeleteFile.cs

var fileDelete = file.Select(f => new(fileInfo(f))
                 .OrderBy(f => f.CreationTime)
                 .Take(file.Length - FileMaxNum)
                 .ToList();

OrderByが時間で昇順にしてくれます。
Takeで先頭の要素から取得してあげます。

後は削除する処理を書けば完了です。

結構簡略化してしまいましたが自分のやり方は
①先頭の名前が同一の拡張子が同じファイルを全て取得する。
②ファイル名の最後が全て同じか判定する。(いらない人もいる)
③上限を超えているか判定
④古いファイルを取り出す。
⑤削除する。
という流れで実装しました。