TopK问题性能测试记录--分而治之

问题描述：从两亿个URL中找出出现次数最多的10个

1.测试准备：分两次随机生成2亿个url ?

(1）数量：100,000,001 ? 耗时：445,152

(2）数量：100,000,005 ? 耗时：554,225

生成文件大小：2.88G

2.切分文件，每个文件大小：3,073K ?共生成:987个文件 ? ?耗时:350,204

3.各取top100 ?共1,579,100B

4.统计TOP10 ? 耗时：436,832

?

方法各处尚待改进，尤其是排序，采用的是Collections.sort ?故效率较低

?

不过切分开来本身就挺耗时，如果采用改进型的BloomFilter ?效率或许会大大提高

?