正文

如何将大量数据插入数据库[重复]

 2023-04-18  235

关键词：

【中文标题】如何将大量数据插入数据库[重复]【英文标题】：How to insert a lot of data into database [duplicate] 【发布时间】：2016-12-11 22:12:47 【问题描述】：

我在 C# 中有一个程序，它从 4 个来源（2 个 excel 表、oracle 和 access 数据库）下载数据并相互计算它们。结果我有一些大的结果，我将结果保存在列表中。结果中的行数大约等于 120.000。一排大约是10MB。结果插入到access数据库中。

如何将此列表插入到我的数据库中？有人可以给我一个例子吗？

现在我将行一一插入到表中。我花了大约 3 个小时来完成这项工作。

【问题讨论】：

那是 SQL Server 吗？天哪！ 120.000 行，每行 10 MB？！你在那个数据库里做什么？通过网络拖动 1.2 GB 并插入数据库需要 3 小时。这很公平。 60个财经栏目怎么占10Mb空间？？？而且由于它超出了 32 位访问的限制，那是 64 位吗？我肯定会首先考虑转向真正的数据库。有趣的是，10 Mb * 120,000 行适合一个列表而不会出现内存不足异常。应该是怪物级的超级计算机。 【参考方案1】：

使用某种批量插入。如果您使用实体框架来处理您的数据库，那么您需要这样的东西。也可以最大限度地延长超时时间。

 using (var transactionScope = new System.Transactions.TransactionScope(TransactionScopeOption.Required, new TimeSpan(0, 10, 0)))
            
                try
                
                    ctx.BulkInsert(productsToSync, new BulkInsertOptions()
                    
                        TimeOut = 10 * 60 * 1000
                    );
                    await ctx.SaveChangesAsync();
                
                catch (Exception ex)
                
                    SystemLogManager.AddDataSyncErrorLog(ex);
                
                finally
                
                    transactionScope.Complete();

【讨论】：

这需要efbulkinsert.codeplex.com吗？您可能希望将其包含在您的答案中。

向数据库里插入大量数据，怎么实现不插入重复的记录

我每次都要向数据库插入大量的数据，可能每次都有好几万条。可是这些记录在数据库里有些存在有些不存在，如果该记录存在再插入肯定会有冲突（数据库和程序会报错）。有没有什么好的方法实现插入记录的时候发现有重复... 查看详情

如何将图像插入数据库[重复]

】如何将图像插入数据库[重复]【英文标题】：Howtoinsertimagesintoadatabase[duplicate]【发布时间】：2020-01-2112:45:22【问题描述】：我是php的新手，我正在尝试将一些详细信息上传到数据库中，但它包含一个图像，如下所示：sql="INSERTINT... 查看详情

如何将 XML 中的数据插入数据库 [重复]

】如何将XML中的数据插入数据库[重复]【英文标题】：HowcaniinsertdatafromanXMLintoadatabase[duplicate]【发布时间】：2015-03-2814:47:05【问题描述】：我想使用php将以下XML文件插入到Mysql数据库中<?xmlversion="1.0"encoding="UTF-8"?><PrintLetterBar... 查看详情

如何使用 sqlplus 终端将大量数据插入 Oracle DB 中的“长”数据类型？

】如何使用sqlplus终端将大量数据插入OracleDB中的“长”数据类型？【英文标题】：Howtoinserthugedatato"long"datatypeinOracleDBusingsqlplusterminal?【发布时间】：2019-01-1809:53:13【问题描述】：我的要求是将非常大的数据存储到OracleDB中... 查看详情

将数据插入MySQL后如何获取插入ID [重复]

】将数据插入MySQL后如何获取插入ID[重复]【英文标题】：HowtogetInsertIDafterinsertingdatatoMySQL[duplicate]【发布时间】：2019-01-1604:05:27【问题描述】：我有一个Mysql数据表，其中包含以下详细信息：ID(intformat)[AUTO_INCREMENT]date(varchar)ip(varcha... 查看详情

如何每分钟向 MongoDB 插入大量数据（约 100 万条记录）？

...：我想每分钟将大约100万条记录插入到单个服务器MongoDB数据库中。我有6个字段的索引。当数据库为空时，我可以在不到一分钟的时间内将数据快速插入到我的集合中（查看详情

如何将重复的标签/字符串数据插入表中

】如何将重复的标签/字符串数据插入表中【英文标题】：Howcaniinsertduplicatetag/stringdataintotable【发布时间】：2019-09-0909:47:37【问题描述】：您好，我在从复杂字符串中读取数据时遇到问题。我必须在字符串&lt;deviMessage&... 查看详情

如何编写python程序将csv数据文件导入关系数据库而不插入重复条目

】如何编写python程序将csv数据文件导入关系数据库而不插入重复条目【英文标题】：Howtowritepythonprogramtoimportcsvdatafileintoarelationaldatabasewithoutinsertingduplicateentries【发布时间】：2021-09-2920:01:25【问题描述】：我正在使用以下python代... 查看详情

如何防止将重复数据插入到值为多个的 SQL Server 表中

】如何防止将重复数据插入到值为多个的SQLServer表中【英文标题】：HowcanIpreventinsertingduplicatedataintoaSQLServertablewherevalueismultiple【发布时间】：2021-07-3119:45:50【问题描述】：我声明了一些需要插入SQL的数据，我应该如何检查SQL中的... 查看详情

将数据插入SQLite表后如何获取最后一行ID [重复]

】将数据插入SQLite表后如何获取最后一行ID[重复]【英文标题】：HowtogetthelastrowIdafterinsertdataintotableforSQLite[duplicate]【发布时间】：2013-10-0907:33:22【问题描述】：我正在为WinRT应用程序使用SQLite和SQLite-NetWrapper。其他平台可能有SQLite... 查看详情

c#如何向Cassandra表中插入大量数据

...的，我正在尝试使用C#应用程序将大约100000行插入Cassandra数据库。为了实现这一点，我正在使用nuget：https://www.nuget.org/packages/CassandraCSharpDriv 查看详情

如何将数据插入我的 android 应用程序 [重复]

】如何将数据插入我的android应用程序[重复]【英文标题】：HowdoIinsertdataintomyandroidapp[duplicate]【发布时间】：2015-07-1615:31:08【问题描述】：就像我正在尝试开发一个已经有data(paragraphs)的应用程序。所以用户基本上会按下一个按钮... 查看详情

如何使用 SQL 将重复数据插入 BigQuery 表

】如何使用SQL将重复数据插入BigQuery表【英文标题】：HowtoinsertrepeateddatatoBigQuerytableusingSQL【发布时间】：2018-12-0313:16:26【问题描述】：我有2个具有以下架构的表：客户与(CLIENT_ID,CLIENT_NAME)地址与(ADDRESS_ID,CLIENT_ID,STREET,ZIP_CODE)假设1... 查看详情

如何重复 JavaScript 表单验证，直到所有输入都正确，然后将输入插入数据库？

...avaScript表单验证，直到所有输入都正确，然后将输入插入数据库？【英文标题】：HowcanIrepeatJavaScriptformvalidationuntilallinputsarecorrect,theninserttheinputsinthedatabase?【发布时间】：2021-12-1503:25:15【问题描述】：我正在尝试创建一个注册页... 查看详情

如何插入快递js |节点js值进入数据库[重复]

】如何插入快递js|节点js值进入数据库[重复]【英文标题】：Howtoinsertexpressjs|Nodejsvaluesintothedatabase[duplicate]【发布时间】：2017-01-1914:36:36【问题描述】：我有以下代码包含图像上传和处理输入文本。我必须将此值插入mysql数据库。... 查看详情

使用Node.js将数据数组插入数据库[重复]

】使用Node.js将数据数组插入数据库[重复]【英文标题】：InsertingarrayofdataintodatabaseusingNode.js[duplicate]【发布时间】：2016-07-0711:24:59【问题描述】：作为Web开发的新手，我希望您能指出正确的方向，告诉我如何将JSON数据插入mongo数... 查看详情

关于phpexcel导入导出大量数据及导入时判断是不是存在重复

还有就是关于导入时如何判断数据库中是否存在于EXCEL中重复的标题,导入不重复的，导入成功后,列出重复的名称。例如：EXCEL标题电话信箱张三1388888888php@php.com恭喜,成功导入38383条数据!4条重复数据!重复内容：1.张三2.李四3.王五... 查看详情

如何避免在核心数据中使用唯一键重复插入？

】如何避免在核心数据中使用唯一键重复插入？【英文标题】：HOWTOavoidduplicatedinsertwithuniquekeyinCoreData?【发布时间】：2013-05-0203:18:59【问题描述】：我知道CoreData将NSManagedObjectId作为其主键。现在，在这样的场景中，msgId对于消息... 查看详情