你好家伙我创建一个批处理与准备语句
在这样的java
for(Item item: list){
ps.setString(1, item.getSome());
ps.setString(2, item.getFoo());
ps.setString(3, item.getBatman());
statement.addBatch();
if (++count % batchSize == 0) {
results = ps.executeBatch(); //execute parcial batch
if (results != null)
System.out.println(results.length);
}
}
results= ps.executeBatch(); //execute rest of batch
数据库服务器是一个MySQL,在表中插入我有几个限制
通过这些限制,当我插入时会产生错误
我想运行批次并省略错误,此时抛出异常结束批次
在我创建批次之前,我有一个大的保存一个接一个地像
//seudocode level
For item
Try{
insert item
}catch(E){nothing happens}
但是很慢,在某些情况下,批量处理4000项,插入1500并省略其余部分
我该如何处理这批货?
编辑
我使用weblogic与此驱动程序进行连接mysql连接器-java-商业-5.0.3-bin
我测试这个属性
1.
continueBatchOnError=true
2.
rewriteBatchedStatements=true
3.
continueBatchOnError=true
rewriteBatchedStatements=true
并添加connect. setAutoCommit(false);
但继续重复抛出异常
编辑
忘了提,我用来连接Hibernate Spring
唯一的For-Save示例是在Hibernate中制作的,但为了性能,我尝试使用JDBC Batch,在webapp中的其他过程中也使用JDBC与Hibernate的连接并且运行良好
这是完整的代码
@Transactional
public void saveMany(final List<Item> items) {
getMySqlSession().doWork(new Work() {
@Override
public void execute(Connection connection) throws SQLException {
StringBuilder sb = new StringBuilder();
sb.append("INSERT INTO `FRT_DB`.`ITEM` ");
sb.append("( ");
sb.append("`masterID`, ");
sb.append("`agent`, ");
sb.append("`rangeID`) ");
sb.append("VALUES ");
sb.append("( ");
sb.append("?, ");
sb.append("?, ");
sb.append("?) ");
int[] results = null;
PreparedStatement ps = null;
try {
connection.setAutoCommit(false);
ps = connection.prepareStatement(sb.toString());
final int batchSize = 250;
int count = 0;
for (Item item : items) {
if (item.getMasterId() != null) {
ps.setInt(1, item.getMasterId());
} else
ps.setNull(1, java.sql.Types.INTEGER);
if (item.getAgent() != null) {
ps.setString(2, item.getAgent());
} else
ps.setNull(2, Types.VARCHAR);
if (item.getRangeId() != null)
ps.setInt(3, item.getRangeId());
else
ps.setNull(3, Types.INTEGER);
ps.addBatch();
if (++count % batchSize == 0) {
results = ps.executeBatch();
if (results != null)
System.out.println(results.length);
}
}
results= ps.executeBatch();
} catch (Exception e) {
e.printStackTrace();
}
}
});
}
这产生下一个例外
java. sql.BatchUpdateException:键“master ID”的重复条目“1-000002725”
但我需要继续
Spring hibernate设置会干扰jdbc的属性?我不知道
我认为可以用一个词来概括IGNORE
当你用这个运行批次时
sb.append("INSERT IGNORE INTO `FRT_DB`.`ITEM` ");
这不是抛出一个使用约束重新实现的异常,这会传递过去,并且行中仍然有旧数据
如果您需要保存您为INSERT更改的“新数据”… ON DUPLICATE KEY
语句,但是,现在认为不需要它。
在您的代码中,提交或回滚不是必需的@Transactional
为您工作。
你的大try{
只在SqlException中崩溃,而不是在BatchUpdateException中崩溃
您只需要添加让MultiQuery
因为使用其他和默认true
http://dev.mysql.com/doc/connector-j/en/connector-j-reference-configuration-properties.html