large-files

1热度

1回答

我正在通过html5 & & xhr上传大文件到服务器的应用程序。因此，当涉及上传图片时，我知道如何做到这一点。但是，如果你想上传大文件（> 100 MB），那么就用户体验而言，它是非常差。形式： <input type="file" id="input"> <script> input.addEventListener('change', function() {

1热度

1回答

使用NodeJS流式传输大型静态文件

我需要定期使用大型未格式化的只读文本文件，并检查每个文件中是否存在特定内容/文字。该文件由所有字母数字字符组成。但是，我遇到问题，甚至读到这些大型静态文件之一的流的end。下面是我试图运行后，最简单的代码的副本，它注意到它没有达到end，这仍然不会触发end事件。我可以看到正在读取的data许多迭代/块，但从不触发文件和end的所有数据。 function readFile(file) {

1热度

1回答

我怎样才能确保一个非常大的zip文件压缩完成？

我正在写一个VBScript来尝试将不同位置的多个目录压缩到同一个Zip文件中。我正在使用的当前解决方案是迭代我想压缩的目录（其中当前有2个），获取文件对象并使用copyHere方法将源文件夹复制到一个zip文件中头格式。这部分似乎工作正常，我遇到的困难是与错误检查。我在网上找到的唯一两个解决方案是获取源目录和目标目录中的对象的数量，并进行睡眠，直到它们相同，或检查压缩文件是否打开以便追加和睡

0热度

1回答

校正用于非常大的文件的多个测试用重复

我有大小为10〜文件8-9千兆像： 7 72603 0.0780181622612 15 72603 0.027069072329 20 72603 0.00215643186987 24 72603 0.00247965378216 29 72603 0.0785606184492 32 72603 0.0486866833899 33 72603 0.00 对于每一

1热度

1回答

使用数组多个工作簿和工作表之间进行比较和共享数据

我一直在写了几个星期的代码，它用来工作，它了2个小时通过49个工作表中我比较，但由于某种原因它来编译现在只是说没有回应。我真的想尝试切换使用数组，以便如果我能够再次使用它，它会快得多。然而，即使在阅读了大量有关数组的帖子之后，我也无法想出办法，除了知道我需要使用多维数组并且具有不同的行大小之外。任何人都可以提供任何建议吗？提前致谢！更多信息，代码看什么是E列，如果在E列别的东西与它匹配采用的值列

0热度

1回答

用VB.Net合并大图像

我希望有人可以帮我合并几个大图像（PNG）到一个。我有多达30张20000x2000的图像，并希望合并它们。输出是可以加载到GIS软件中的图像。我遇到的问题是关于第4张图像后内存不足。我下面的代码基本上可以将整个图像保存在内存中，就像拼接一样。有没有什么办法可以有效地拼接图像而不需要将所有图像加载到内存中，或者增加内存容量并使用我的所有内存和/或虚拟内存？ Public Function st

0热度

1回答

如何在linux中从一个非常大的文件中获得独特的行？

我有一个非常大的数据文件（255G; 3,192,563,934行）。不幸的是，我只有204G的可用空间（没有其他设备可以使用）。我做了一个随机样本，发现在一个给定的例如100K行中，大约有10K个独特行......但文件没有排序。通常我会用，说： pv myfile.data | sort | uniq > myfile.data.uniq ，只是让它运行一天左右。这在这种情况下不起作用，

1热度

1回答

读取较大的管道分隔值时超出了GC开销限制文件

我想解析一个大文件（650万行），但得到了提到的内存不足错误。我使用相同的方法来读取大约50K行的其他文件，并且它工作得很快。这里运行得非常慢，然后失败并出现错误。我最初有2 GB专用于intelliJ，我将其更改为4 GB（-Xmx4000m），然后是6 GB（-Xmx6000m），并且仍然以相同的错误结束。我的电脑只有8 GB内存，所以我不能再做更高的了。有什么建议么？谢谢！ public

0热度

1回答

以JSON行格式处理和查询大量大文件

哪种技术最适合导入大量大型JSON行格式文件（每个文件大约2 GB）。我在想索尔。一旦数据将被导入，它将不得不被查询。您会建议导入哪种技术，然后及时查询JSON行格式数据？

4热度

1回答

如何在解析C＃中的Antlr4大文件时解决OutOfMemoryException？

我想用Ant＃4解析一个大文件（大约500MB）使用c＃。但是我有一个OutOfMemoryException。下面我当前的代码描述： var path = GetInput(Path.Combine(DatFilePath)); // Build the large file var inputStream = new StreamReader(path); var input = new