try-with-resourcesを使ったりNew I/O 2を使ったりしてるのでJDK1.7以上じゃないと使えません。
// 指定フォルダをhogeとする。
Path path = Paths.get("C:","hoge");
try(DirectoryStream<Path> ds = Files.newDirectoryStream(path, "*.txt") ){
for(Path deleteFilePath : ds){
System.out.println("次のファイルを削除します。: " + deleteFilePath.toString());
Files.delete(deleteFilePath);
}
} catch (IOException e) {
e.printStackTrace();
}