bulkinsert

1热度

1回答

想知道结构化表格插入与大容量拷贝之间是否存在性能差异。在我开始实施它之前，任何经验或想法都可能是高性能的。我正在使用Spring.net进行数据库层调用。的Sql大容量插入 using (SqlBulkCopy bulkCopy = new SqlBulkCopy(this.connectionstring) { bulkCopy.DestinationTableName = "BulkD

0热度

2回答

psycopg2在多行插入时忽略重复密钥违规

我正在执行以下代码，但偶尔会发生重复密钥违规，并且整个插入操作都会停止。如何忽略这些错误并让查询对有效条目执行？代码： query_data = ','.join(cur.mogrify('(%s,%s)', row) for row in data) insert_q = "INSERT INTO <table> VALUES {0};".format(query_data) try:

0热度

1回答

处理行时意外的文件结束

将输入文件复制到空的数据库表时出现以下错误。输入文件只有56732行，但是我得到的行56733的错误： continue * * * * * * * * * * copy table temptable ( abc = c(3), bcao = c(1), cba = c(10), test = c(1)nl ) from 'tempfile' Executing . . .

3热度

1回答

如何使用SQL Server JDBC批量复制API

我遇到了一些问题，试图将我的列元数据与SQL Server批量复制API和SQLServerBulkCSVFileRecord映射。只是为了测试目的，我做了一个表格只包含nvarchar(500)列，并添加这样的元数据： fileRecord = new SQLServerBulkCSVFileRecord(csvPath, false); for(int i=1; i<=colCount;

0热度

1回答

批量插入SQL Server

我很好奇，如果任何人都可以建议一个更好的方式来做批量插入。在我目前的工作中，我们构建了作为变量传递给存储过程的xml字符串，然后创建一个临时表并插入xml。很多时候我看到一个游标正在使用哪个我更喜欢如果可能的话 DECLARE @DriverToImport TABLE (DriverId INT NULL DEFAULT (0), IsNew TINYINT NOT NU

0热度

1回答

BulkInsert：INSERT语句与FOREIGN KEY约束冲突

我有两个实体：Project和StepImplementation。 StepImplementation对项目表有一个FK。我需要添加一个包含500个步骤的新项目到数据库。如果我使用一个简单的EntityFramework - 我没有问题，但据我在SQL Profiler中的500个步骤，我观察到500个插入。所以我试图用一系列EntityFramework.BulkInsert来添加一个新项

0热度

1回答

OLE DB“BULK”，如何识别发生的地方？

我正在做sql server 2008上的批量操作，我得到OLE DB“BULK”错误。我知道这是因为我的表没有该文件所在的列，反之亦然。尽管知道发生了什么，但这并不能帮助我很多。我怎样才能得到失败的批量的确切线？或者任何其他提示尝试快速解决错误。谢谢。

0热度

2回答

SSIS - 插入批量每批有多少行可供选择？

我正在使用批量插入在SSIS在SQL Server中填充大约10M行的表。我已经搜索了很多关于它，仍然无法找到答案。多少个每批行数我应该选择吗？有多少最大插入提交大小我应该选择吗？很高兴收到每个人的解释。我测试了它并更改了每批的行数。目前为止我收到的最好成绩是5M。感谢您的帮助！

0热度

1回答

批量插入加载失败的SQL Server

我试图插入一个.csv文件到现有的表。现有的表格有3列，这些是ID（仅在表中分配），学号和组号。在我.csv，我有下面的格式，但我每次插入它时，我得到一个错误的大容量加载失败。数据文件行第1列中出现意外的NULL值。目标列（ID）被定义为NOT Null。那么，如何忽略第一列？这是.CSV文件： ID,StudentNumber,GroupNumber ,000,3 ,

0热度

1回答

弹性搜索：在大型数据集上性能较差

我有7个节点具有2个索引的弹性搜索集群，并且都具有嵌套的对象映射。我被延迟插入到索引2（通过火花流）。我正在使用批量插入，每个批次需要〜8-12s（〜100k记录）。 Node Configuration: RAM: 64 GB Core: 48 HDD : 1 TB JVM allocated Memory: 32 GB Marvel Node Status: CPU Usages