large-files

1热度

1回答

我有10 GB的SQL文件，我导入使用命令行此文件：的mysql -u用户名-p数据库名称< file.sql 然而，它采取了太多的时间。有没有其他选项或工具可以快速导入此文件？

0热度

1回答

在我们的使用案例中，我们从我们的客户（大小约30GB）获得大量快照文本文件（tsv，csv等）以及数百万条记录。数据是这样的： ItemId (unique), Title, Description, Price etc. shoe-id1, "title1", "desc1", 10 book-id-2, "title2", "desc2", 5 无论何时，我们从客户得到的快照，我们需要

0热度

4回答

需要在非常大的文件中的每列中查找不同值的数量

我正在C＃中处理大型文件（希望），并且需要一种方法来确定文件每列中不同值的数量。我已经阅读了所有我能找到的有关使用C＃确定不同值的问题。面临的挑战是，由于某些文件的大小和一列（可能有数百列 - 各种数据类型）中数千万个不同值的可能性，因此需要创建列表，字典或数组等等。每一列 - 然后使用先前回答的问题中描述的技术 - 会使我处于达到2 GB内存限制的危险中。目前，我正在读取/处理文件一行一行，并

0热度

1回答

PHP：因为速度太慢而无array_count_values而获得结果的更好方法

我的脚本合并了18个文件，并返回合并中出现> = 13次的所有数字。我计时脚本和array_count_values是如此之慢，它占2.35秒时间的80％。这些文件很大，每个文件有200,000个数字，所以合并后的数组超过200万。任何想法，我可以踢出array_count_values函数或写一个更好的方式，仍然得到所有数字在合并数组中发生> = 13倍？注意：我缩短了代码以仅反映18个合并

0热度

1回答

处理大熊猫数据帧（模糊匹配）

我想做模糊匹配，其中我从大数据框（130.000行）的列到列表（400行）的字符串进行匹配。我写的代码是在一个小样本上测试的（匹配3000行到400行）并且工作正常。它太大复制到这里，但它大致是这样的： 1）列 2的数据标准化）创建笛卡尔积列和计算Levensthein距离 3）选择在单独的得分最高的比赛和商店的large_csv_name“名单。 4）比较'large_csv_names'到'

-2热度

3回答

如何打开大（10GB +），文本文件和编辑

我有大的txt文件，超过10GB 我应该打开此文件，并进行简单的版本： - 删除重复的行 - 拆分此文件（如5x2gb文件）我需要什么软件？ Windows pref ...但是如果不行的话，Linux也可能很棒。谢谢！

2热度

1回答

从S3流出一个大文件行

我在s3中有几个10gb csv文件，我想用它来播种我的数据库。我在Heroku上运行RoR应用程序，我无法弄清楚如何逐行传输csv来处理它，因为它太大而不适合内存，我不能使用File.open来访问外部文件。我已经研究过使用Tempfile一次流式传输字节，但它们不匹配新行，并且在Ruby中重建它是很困难的。谢谢！

1热度

3回答

将巨大的图像加载到QT窗口中，并且能够放大和缩小图像

我的应用程序需要处理巨大图像（> 1 GB）。我的出发点是安装QT5时可以在widget文件夹中找到的图像查看器示例。这个例子的问题是，似乎不适合操纵像我需要处理的巨大图像。放大和缩小需要永久更新，因此用户体验不够好。我需要的东西就像Windows照片应用程序。加载图片可能需要很长时间，但一旦完成，您可以非常快地放大和缩小图片。但我需要用C++和QT构建这样的应用程序，以便以后我可以对像素进行子

1热度

1回答

大型XML数据的逻辑应用程序和存储过程

我试图通过Azure中的逻辑应用程序来解决较小的集成问题。我有一个存储过程，从数据库中选择数据并输出XML作为结果。事情是，Xml结果是大约50k行和相当大。我做了一个本地网关连接，通过逻辑应用程序运行存储过程。但是当我得到结果时，它不仅分裂了大的xml，而且还在大约15k行之后削减了整个结果。我知道我可以使用blob，这意味着我需要首先将sql-xml导出到文件，这也意味着我需要使用类似

2热度

1回答

FFprobe报告在非常大的.mov文件上无效的sample_count

我有一个1.1TB的ProRes 422 MOV文件（有点超过24小时的记录）。当运行ffprobe -v error -print_format xml -select_streams v:0 -show_format -show_streams "Metadata Error.mov"我得到如下： <ffprobe> [mov,mp4,m4a,3gp,3g2,mj2 @ 000000000