SharePoint 2010中的大数据

Question

我有大量的CSV格式的数据（7 Mio. rows），我必须在一个月内自动导入到SharePoint项目中一次。数据总量并不那么大（100 kB）。该数据中的查询通常只检索一行或几行）

由于SharePoint并不真正“喜欢”大列表（阈值等），我不知道哪个是解决瓶颈的最佳方法。

1. 只要把数据放到列表 （会不会喜欢这个，导致即使删除前进口肯定会需要几个小时）

2. 将数据保存到一个SQL的数据库，并编写了“包装“直接连接到SQL

这些是我第一次想到解决这个问题的可能性。还有其他（更好的）方法吗？

Answer 1

我会用SSIS来做到这一点。

下载适用于SSIS的SharePoint列表适配器（只需执行Google搜索）。

使用平面文件连接从csv文件获取数据，并且可以将已存在于SharePoint列表中的数据与csv文件中的数据进行比较，并只添加新行 - 我认为您使用了合并/加入来做到这一点。

我以前做过这件事，如果您需要更多的细节，请告诉我，这只是我的头顶。