Hibernate之海量数据操作

?

批量添加

?

在实际的开发中，当我们遇到百万条以上的数据呢？比如要一次保存10万条的数据，按照我们正常的思维来，应该这么写：

?

session.beginTransaction();for(int i = 0,i<=100000,i++){      TUser user = new TUser();      session.save("user No:"+i);}session.getTransaction().commit();

?

?但是这样一来有什么问题呢？程序肯定会以OutOfMemoryError异常而终止!为什么会这样？原因是Hibernate在每次调用session.save()时，都会将此对象纳入自身的内部缓存进行管理，内部缓存（一级缓存）与二级缓存不一样，二级缓存可以设置指定其中的最大容量，但内部缓存并没有这样的限制；

一次加入1百万数据，随着循环，内存会被耗尽，便产生了OutOfMemoryError异常；

?

如何解决这样的问题？

?

首先看下在普通的JDBC里是如何解决？

?

?

String sql = "insert into TUser(name) values(?)";PreparedStatement ps = conn.prepareStatement(sql);for(int i=0,i<1000000,i++){    ps.setString(1,"user "+i);    ps.addBatch();}int[] counts = ps.executeBatch();

?

?这里的ps.addBatch()方法，将数个SQL操作批量提交获得性能上的提升；

?

在hibernate中的解决：

session.beginTransaction();for(int i=0,i<1000000,i++){   TUser user = new TUser();   user.setName("user:"+i);       session.save(user);   if(i%25 == 0){      session.flush();      session.clear();   }}session.getTransaction().commit();

?

?阶段性的调用session.clear();这样的话，可以将内部缓存（一级缓存）所占用的空间维持在一个合理的范围内；

但是这样的话，导入时，是个相当耗时的过程，然而还得在进行判断，效率的低，可想而知；这时，Hibernate给我们提供了更好的解决方案：

?

<property name="hibernate.jdbc.batch_size">25</property>

?这样的话，就设定了Hibenrate每次提交SQL的数量；