日志统计[腾讯面试]
日志1亿条日录,qq号登录信息
上线时间[秒级] IP qq号
现要求统计某一时刻[秒级]有多少QQ用户在线?
我的想法是用hash_map,但是key不好办
求解
[解决办法]
对与如此大量的数据,单线程跑肯定不行
可以将文件拆分成小片(按照时间段),然后并行处理,对处理结果进行汇总
发布时间: 2012-03-20 14:01:11 作者: rapoo
日志统计[腾讯面试]
日志1亿条日录,qq号登录信息
上线时间[秒级] IP qq号
现要求统计某一时刻[秒级]有多少QQ用户在线?
我的想法是用hash_map,但是key不好办
求解
[解决办法]
对与如此大量的数据,单线程跑肯定不行
可以将文件拆分成小片(按照时间段),然后并行处理,对处理结果进行汇总