// 指定フォルダをhogeとする。
Path path = Paths.get("C:","hoge");
try(DirectoryStream<Path> ds = Files.newDirectoryStream(path, "*.txt") ){
    for(Path deleteFilePath : ds){
        System.out.println("次のファイルを削除します。: " + deleteFilePath.toString());
        Files.delete(deleteFilePath);
    }
} catch (IOException e) {
    e.printStackTrace();
}