高分求助:java对大批量数据进行操作

author author     2023-05-03     128

关键词:

程序对大数据量进行操作。操作的数据库为Oracle
过程是先对数据进行delete操作,然后进行insert操作。
数据量大概是百万条左右。

现在使用的方法是jdbc的PreparedStatement,每5万条commit一次。
可是这样的话程序的速度还是达不到要求。
如:

if(((a+1) % 50000)==0)
delPstmt.executeBatch();
insPstmt.executeBatch();
dbConn.commit();
dbConn.setAutoCommit(true);
delPstmt.close();
insPstmt.close();
dbConn.setAutoCommit(false);
delPstmt = dbConn.prepareStatement(deleteSql);
insPstmt = dbConn.prepareStatement(insertSql);


求助?有没有比较快的方法,不限定于用jdbc.导出文件导入库什么方法也可以。

但是一定得按顺序先执行delete操作,再进行insert操作。

每5万条commit一次 太多了吧,你试试看50条 参考技术A 没搞明白是要delete五万条数据,还是insert五万条数据.感觉根本就没有必要进行这种操作.除非是在测试数据库性能的时候用到.我猜你ORACLE不是花钱买的.所以不心疼,硬盘也不是花钱买的吧.而且一个insert select或者select for update就能解决的问题,没有必要搞这么大吧. 参考技术B 非要在每次insert操作之前进行delete操作吗,不能先一次delete完吗,用命令行的方式,导入文件比较快吧 参考技术C 单个数据库能支撑得起就不错了.

高分诚心求助!数据库设计如何实现不同用户进行不同操作的权限管理?!(数据库sql2000+编程语言c#)

具体问题:学生信息管理系统。有三类用户,学院教务处可以管理所有学生的数据,系教务处可以管理本系学生的数据。每个学生只可以管理自己的数据。数据库需要几个表,具体字段及实现不同用户进行不同操作的权限管理方... 查看详情

pb9.0批量导出excel高分在线等

求高人指导pb9.0批量导出excel,批量打印aabbccddeeffgg101262551011101364591010236467101022359101我想要根据aa的条件批量导出excel,打印答案可用我将加分用数据窗口导出只能一张一张导我要的是以aa为条件批量生成excel报表1、你要根据aa的条件... 查看详情

高分求助:如何让html静态页面的源代码被,js代码屏蔽

有些网站,打开网页查看源代码,出现的源代码是一串JAVA代码并不是网站的源代码,这样起到了让人看不到源代码的效果,请问高手,需要怎么样才能达到这样的效果。提示:绝对不是网页批量加密,也不是网页批量转换成js代... 查看详情

java中判断进行数据库批量操作是否成功

第一种方法是向公司中的前辈学来的:1int[]result=XXX.batchSave(XXX,XXX);2for(inti:result){3if(i<0&&i!=statement.SUCCESS_NO_INFO)4returnfalse;5}6returntrue;第二种是我之前自己想的,一直在用的:1//JFinal中是用Db完成的2int[]result=XXX.b 查看详情

高分求助生成二维码的vb代码

我要做个二维码高速公路收费系统,求助达人们怎么编写生成二维码的vb代码~!!是vb语言哦。不好意思,我所有分数只有5分了,倾囊而出~!知道的好心人帮帮我哦。用PDF417动态库可生成2维条码阅读直接用2维条码扫描枪即可读... 查看详情

【高分求助】连接服务器oracle11g数据库较慢

服务器IP地址:192.98.18.15,数据库服务名:db11g在服务器本机通过sqlplussys/sysassysdba进行连接,瞬间显示“已连接”,而连接参数为sys/sys@192.98.18.15/db11gassysdba时,需要约15秒才会显示“已连接”,与客户端连接该服务器的时间差不... 查看详情

高分求助:怎么处理百万条的excel数据

上百万的EXCEL数据,需要做一些筛选之类的简单处理。用什么程序可以达到的,EXCEL只能处理六万多条。看到有人说用Access,SQL什么的,但不是很懂,求高手指教!有时不止一百万,而且正如2L所说,直接用EXCEL处理这么庞大的信... 查看详情

es7.x使用resthighlevelclient进行增删改和批量操作

...作3.1数据准备3.2单条数据异步插入3.3单条数据同步插入3.4批量插入3.5更新操作3.6带条件的更新语句3.7批量更新3.8删除操作3.9条件删除Java层面操作elasticSearch7.x,为了便于操作,不集成Spring,使用main方法进行调用。1. 查看详情

java如何对数据库的数据进行批量删除之后接着做批量增加,删除和增加是一次操作完成

...Statement,通过他的addBatch()和executeBatch()方法可以轻松实现批量更新,具体代码可参考http://blog.csdn.net/tower888/article/details/10782781 参考技术C通过事务管理,可以使用spring的事务管理机制来完成 查看详情

java中怎样实现批量删除操作

本文是记录Java中实现批量删除操纵(Java对数据库进行事务处置),在开始之前先来看上面这样的一个页面图:         上面这张图片表现的是从数据库中查询出的出租信息,信息中进行了分页处... 查看详情

java基础学习总结(194)——java多线程+list分段完美解决导入等批量更新场景问题(代码片段)

...程图整体流程图步骤获取需要进行批量更新的大集合A,对大集合进行拆分操作,分成N个小集合A-1~A-N。开启线程池,针对集合的大小进行调参,对小集合进行批量更新操作,对流程进行控制,控制线程执行顺序。1、按照指定大... 查看详情

java基础学习总结(194)——java多线程+list分段完美解决导入等批量更新场景问题(代码片段)

...程图整体流程图步骤获取需要进行批量更新的大集合A,对大集合进行拆分操作,分成N个小集合A-1~A-N。开启线程池,针对集合的大小进行调参,对小集合进行批量更新操作,对流程进行控制,控制线程执行顺序。1、按照指定大... 查看详情

高分求助onenote达人

onenote共享之后其他人编辑了总会出现XXX’scopy分区,非常烦人,如何让他不出现?共享群组里有10版也有07版用sharepoint和groove共享的谢谢了参考技术A路过 查看详情

hibernate批量操作

批量处理数据:指的是在一个事务场景中需要处理大量数据。Hibernate进行批量处理数据的方式: 1.使用HQL进行批量操作:HQL是跨数据库的,面向对象,但具有局限性,只能用于单个持久化类,不支持连接,不能使用子查询 ... 查看详情

hibernate批量处理数据hql连接查询

一、批量处理操作批量处理数据是指在一个事务场景中处理大量数据。在应用程序中难以避免进行批量操作,Hibernate提供了以下方式进行批量处理数据:(1)使用HQL进行批量操作  数据库层面(2)使用JDBCAPI进行批量操作 ... 查看详情

hibernate批量处理数据hql连接查询

一、批量处理操作批量处理数据是指在一个事务场景中处理大量数据。在应用程序中难以避免进行批量操作,Hibernate提供了以下方式进行批量处理数据:(1)使用HQL进行批量操作  数据库层面(2)使用JDBCAPI进行批量操作 ... 查看详情

怎么用java同时实现批量删除,批量修改

/* 怎么用java同时实现批量删除,批量修改? */ //1,可以利用循环批量来操作数组元素 intarr[]=newint[100];//定义一个数组,长度为100 //对该数组进行批量赋值 for(inti=0;i<arr.length;i++) arr[i]=i; //2,对于集合,可以使用removeALL方法进... 查看详情

java多线程访问被限制问,高分求助高手给个思路或方法

一个java多线程的小程序,有时候在访问百-度时候会报错:很抱歉,您的电脑或所在的局域网络有异常的访问,此刻我们无法响应您的请求。请输入以下验证码,即可恢复使用。这个情况应该怎么解决呢,求高手给个思路或方法.... 查看详情