读书人

freyja v2版本公布

发布时间: 2012-06-26 10:04:13 作者: rapoo

freyja v2版本发布

上回说了

freyja将重新把重心放在orm、sharding、cache上

?

1、更完善的orm

2、应用层屏蔽的底层sharding

3、应用层上的cache

那么,直接上代码了。

?

?

因为没什么开源经验,所以直接介绍freyja的思想和代码了。

1、cache部分直接改的是spring aop cache

?

spring cache 拓展?

加了几个annotation:

CacheDelete、CacheListReplace 等等。。。。

现在存在2个问题:1、不是线程安全的。2、不知道如何才能像spring 的cache 注解那样 被扫描到:http://www.iteye.com/problems/83419

?

?

另外:cache和freyja v2没有任何关系。

cache的介绍有点少,缓存越接近上层效率越高。所以基本上放弃了freyja v1对缓存的理解,改到上层缓存。

通过注解维护缓存的关系。上面的spring cache 拓展实际上是之前写的,现由对其进行了大改。山寨、拓展了spring 自带cache 同样使用spel表达式?CacheSave这个注解略微不同,key取值取的是返回值,以后会补上一篇介绍。

?

?

?

2、orm

orm部分采用自己的annotation:@Id,@Column,@Table,@Transient 用这几个来标注实体与表的关系

?

orm比纯jdbc带来的开销在于一层的sql解析,sql解析交给了温少的alibaba.druid的sql parser部分来处理。

(温少是谁?:http://code.alibabatech.com/wiki/dashboard.action)

解析的效率很高,具体有多高我没具体测试过。以为无论开销多大对于项目来说是属于可忽略的开销,因为项目的sql都是预编译sql,解析这一层被缓存了所以开销可忽略。

?

orm的语法上和上一版的基本一致。

?

3、sharding

Freyja2版本对分库分表的处理方式?

?

sharding部分和orm基本上没任何关系,这个部分只针对纯sql 的处理。我觉得freyja的sharding方式趋于完美

freyja v2的sharding 由@SubColumn决定分库、分表方式。@SubColumn是以这个字段为基准对记录进行切分

?

public DbResult getShardingTableName(Object value) {String tableName = getTableName();int hashCode = value.hashCode();if (hashCode < 0) {hashCode = -hashCode;}int dbNo = hashCode % ShardingUtil.engine.getDbNum();int tableNo = hashCode % ShardingUtil.engine.getTableNum();tableName = tableName + "_" + tableNo;return new DbResult(tableName, tableNo, dbNo);}public DbResult getShardingTableNameById(Object idValue) {String tableName = getTableName();if (idValue == null || !isSubTable()) {return new DbResult(tableName, -1, -1);} else {int n = (Integer) idValue / ShardingUtil.engine.getIdSubNum();int dbNo = n / ShardingUtil.engine.getTableNum();int tableNo = n % ShardingUtil.engine.getTableNum();tableName = tableName + "_" + tableNo;return new DbResult(tableName, tableNo, dbNo);}}
?

?

?

配合spring jdbc的AbstractRoutingDataSource 达到一个多数据源操作环境

?

具体而言如果你需要对t_user表进行分库、分表操作:

1、<bean id="fryjaTemplate" name="code"><property name="jdbcTemplate" ref="jdbcTemplate" /><property name="packagesToScan" value="com.x.data.bean" /><property name="freyjaProperties"><value>show_sql=truedb_num=2table_num=2id_sub_num=1000000</value></property></bean>

?

?配置 db_num、table_num、id_sub_num

id_sub_num为每张表容量,另外建表的时候需要修改对应的自动增长起始值

?

<bean id="baseDataSource" parent="parentDataSource"><property name="url" value="${mysql.url}" /><property name="username" value="${mysql.user}" /><property name="password" value="${mysql.password}" /></bean><bean id="dataSource" value-ref="pu_game_0" /><entry key="1" value-ref="pu_game_1" /></map></property><property name="defaultTargetDataSource" ref="baseDataSource" /></bean>
?

<bean id="jdbcTemplate" ref="dataSource" /></bean>
?

?

2、你需要在User实体上加上@Table(name = "t_user", isSubTable = true)

?标注这个表需要切分

3、@Column(name = "open_id")

@SubColumn(isSubColumn = true)private String openId;
?

需要选取其中一个字段标注为SubColumn

?

?

sharding针对的是纯jdbc,有兴趣的可以研究下druid的sql parser (ps:资料很少)

?

其他的补充:

1、为什么freyja1和2都要用spring jdbc?

没什么特别的理由,一直都在用hibernate但先接触的spring jdbc,觉得还不错就用了。另外spring jdbc本身就很接近于orm所以就对他进行了改造。

2、druid

在做freyja v1的时候实际上都有了解过druid的sql parser功能,但是觉得老外的jsqlparser出来得早用的人多会比较好就用了jsqlparser。

后来做v2发展sharding功能的时候联系到了温少,他让我看sql parser。结果真不得了。sql parser要什么有什么,例如orm部分sql parser直接就支持而且非常方便。虽然有点问题但是反馈给温少之后一会儿就解决了。sharding功能也是在交流过程中产生的。

附件中的压缩包中的druid_0.2.11111.jar是包含sharding支持的版本。druid的最新版不知道有没有发布包含这个部分。

?

还需要大量的测试测试测试和测试,现在freyja v2用于项目当用,有什么需要修复和添加的功能都会随着实际应用而改动。

?

?

希望大家就cache、orm、sharding部分的实现思路进行讨论!

1 楼 newsky 2012-06-11 为什么不将代码放到github之类的网站上? 2 楼 jjshanwei 2012-06-19 源码包怎么没提供下测试或demo的代码? 3 楼 aa87963014 2012-06-19 有:https://github.com/121077313/freyja

但是,我对这个不熟悉,也不喜欢用。。。我会改到google code上面,用svn

读书人网 >开源软件

热点推荐