读书人

大数据量分页(洪量数据分页)的高效实

发布时间: 2012-10-30 16:13:36 作者: rapoo

大数据量分页(海量数据分页)的高效实现

?

数据的存储使用三—ell?R610机器存储,每次对列表页或帖子页的访问,均需要从MySQL查询。目前已经胜任每日约900万次访问量。如果有任何疑惑,请联系zhangxugg@163.com。如果你有更好的办法,欢迎一起探讨。

1 楼 babaoqi 2012-09-13 如果查询只会通过 科室,ID查询,由于科室数量是有限的,每个科室建立一张问题表,
问题表的主键是自增ID,并且按照主键进行范围分区

查询某页问题时
算出start = (page-1)*pagesize
select * from table where id >start limit pagesize;
不要使用end条件比较,主键本身有序,不需要做额外的排序操作,找到start的位置后顺序读取pagesize行,效率还是很快的

缺点
不适合查所有问题


疑问:
可胜任 7500 万主题的分页需要。表结构大致如下:
page #当前记录的页码
classid#科室 id
data #当前页要显示的数据 原始主题记录 json 化或 php 序列化后的字符串

这种方式查询效率很高但如果删除某个问题时,当前page的问题数量就小于 pagesize 2 楼 babaoqi 2012-09-13 如果问题是按照最后更新时间排序,我说的方式就不适合了,刚才没仔细看清需求,不好意思

读书人网 >软件架构设计

热点推荐