大数据量 求效率
现在的问题是,我们在做一个项目的统计。但是数据量非常的大。可能有几十亿。
然后独立一个程序专门做统计,在框架选择方面,谁有没有好的意见?在网上看到Hadoop,不知道谁有没有这方面的经验?
[解决办法]
hadoop一般是用理特大的的,一般是 T的。采用分布式存,其就是借助非化的dbms存在硬中。
[解决办法]
当前比较流行的云计算可能比较适合楼主的问题。
每个程序负责其下的1万个节点的统计,任何一个节点发生变化,均向其父节点报告,这样的话,分四级,可覆盖1万亿的数据量,远远超过楼主的几十亿。