JAVA海量数据处理之二（BitMap）

import java.util.TreeSet;public class Test { public static void main(String[] args) { TreeSet set = new TreeSet(); for(long i=10000000000L;i<900000000000L;i++){ set.add(i); System.out.println("i="+i); } }}?

Exception in thread "main" java.lang.OutOfMemoryError: Java heap space?

1024 个字节 =1KB ， 1024KB=1MB ， 1024MB=1GB

import java.util.BitSet;public class BitTest { public static void main(String[] args) { // 1 3 6 10 100 BitSet bitSet = new BitSet(100); bitSet.set(1,true); bitSet.set(3,true); bitSet.set(6,true); bitSet.set(100,true); for(int i=0;i<bitSet.size();i++){ boolean b = bitSet.get(i); if(b){ System.out.println(i); } } }}?

* 371M 的文件（ 3000 万的数据） 过滤数据耗时 : 27375 毫秒 * 520M 的文件（ 4200 万的数据） 过滤数据耗时 : 62000 毫秒

?其中把4200万的数据用BitSet操作耗时约20-30秒，写入目标文件约30秒。所以1分钟可以搞定4200万的数据。效率已经得到了极大的提高。

?

?

?

?

?

?

?