读书人

求解决方案解决办法

发布时间: 2012-02-16 21:30:36 作者: rapoo

求解决方案
公司正在做的一个项目
将来数据量可能非常大
客户端每请求一次,就会有一条记录,日数据估计几千万,甚至上亿,字段大约10来个,里面的数据会按各种条件进行汇总

自己想到下面3个方法

1.每天自动创建一个表存储当天的数据,时时汇总,半夜就把数据移到另一个服务器的历史数据库
2.按小时创建24张表,自动汇总前一个小时的数据,然后移动到历史数据库,然后清除数据。
3.使用SQL2008的分区功能,貌似要多个硬盘才能体现性能

24张表分散了数据,应该性能最好,单表2-3000W的数据,速度应该还行
求方案,谢谢!

[解决办法]
原始记录做一个分区表.
汇总的数据每天计算到另一个结果的表.
查的时候直接查这个结果表就可以了
[解决办法]
楼主已经考虑得很全面了,这么大的数据量,估计要用存储了吧?

普通服务器估计存不下来,而且备份恢复是个问题,如何确保高可用性需考虑喔.
[解决办法]
这么大的数据量,分区是肯定的.不过不明白楼主说的每小时的数据汇总后删除是什么意思,难道这些数据不用保存吗?
如果不用保存的话,那来一条统计一条不就行了吗?
[解决办法]
不懂,学习,其实楼主已经有倾向了,个人觉得第二种方案比第一个好。
[解决办法]
日数据估计几千万,甚至上亿

---------------------------------

这么大的数据量,估计哪个数据库都不好使.

建议使用oracle.

祝楼主好运.
[解决办法]
不查询只添加的时候只有表索引多了才会影响效率,24小时的做法没必要,增加了程序复杂度,定点转移数据就行,然后建议使用Oracle,如此多的并发对SQLServer是一种灾难。

按你1亿/天的估算,数据量将达到1157条/秒,就算是磁盘阵列,一台服务器估计也顶不住,建议多搞几个服务器,TCP连接数也是有限制的,最好应用服务器和数据库服务器分开。
[解决办法]
建议oracle,最好大数据量处理用hadloop.
[解决办法]
为什么数据量一大,就建议使用ORACLE呢,好像oracle成了万能的选择了。
[解决办法]
你都想到方案了,性能调整没有最好,只有更好。先按自己想的去搞,出问题再想办法。大数据的情况下,很多解决方案都归纳为分库、分表了
[解决办法]
云计算的存储体系

读书人网 >SQL Server

热点推荐