要對兩萬多篇文章做分詞,製作成標籤雲,所以涉及到批量保存的問題
1、使用Jpa saveAll()方法
<S extends T> List<S> saveAll(Iterable<S> entities);
// 例子:
List<IK> ikList = new ArrayList<>();
ikDao.saveAll(ikList);
效率奇低,按每篇文章大約500~1000個分詞計算,保存需要10秒左右。2萬多篇,20000*10/3600/24=…
2、使用JdbcTemplate batchUpdate()
效率高出太多了,按每篇文章大約500~1000個分詞計算,保存需要1秒左右。
public Integer batchInsertIk(List<IK> ikList) {
String sql = "insert SWJ_IK1(name,count) values(?,?)";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
public void setValues(PreparedStatement ps, int i) throws SQLException {
String name = ikList.get(i).getName();
int count = ikList.get(i).getCount();
ps.setString(1, name);
ps.setInt(2, count);
}
public int getBatchSize() {
return ikList.size();
}
});
return 0;
}
public Integer batchUpdateIk(List<IK> ikList) {
String sql = "update SWJ_IK1 set count=? where name=?";
jdbcTemplate.batchUpdate(sql, new BatchPreparedStatementSetter() {
public void setValues(PreparedStatement ps, int i) throws SQLException {
int count = ikList.get(i).getCount();
String name = ikList.get(i).getName();
ps.setInt(1, count);
ps.setString(2, name);
}
public int getBatchSize() {
return ikList.size();
}
});
return 0;
}
// 也可以自定義字段對應,但是要注意Object[]中元素的位置
public Integer batchInsertUsers(List<IK> list) {
String sql = "insert SWJ_IK1(name,count) values(?,?)";
jdbcTemplate.batchUpdate(sql,setParameters(list));
return 0;
}
private List<Object[]> setParameters(List<IK> list){
List<Object[]> parameters = new ArrayList<Object[]>();
for (IK ik : list) {
parameters.add(new Object[] { ik.getName(),ik.getCount()});
}
return parameters;
}