large-files

-1热度

1回答

基本上，我从psd到tiff是一个设计公司的大量图形文件。我们实际上处理这些文件中的每一个，并保留它的每个版本，从而构建庞大的库存。为例如说。我们有一个名为abc.psd的文件，就像10 MB一样，然后我们做一些编辑并将其保存为abc1.psd，这就像20 MB，这意味着10 MB原始+ 10 MB的新编辑，并继续，直到我们有时超过500 MB最终文件与旧版本一起占用GB空间。我从Gits中了解

0热度

1回答

通过普通标签有效合并java中的2个大型csv文件

我需要通过共同的行或列标签合并2个大型csv文件（每个大约4000万个数据元素），这可以由用户指定。例如，如果dataset1.csv包含： patient_id x1 x2 x3 pi1 1 2 3 pi3 4 5 6 和dataset2.csv包含： patient_id y1 y2 y3 pi0 0 0 0 pi1 11 12 13 pi2 9

0热度

2回答

使用Apache Camel插入大型CSV文件时的GC问题

我有一个包含大约5.2M行的大型CSV文件。我想解析这个文件并将数据插入到数据库中。我为此使用apache骆驼。路线是相当容易的（简化本示例） from("file:work/customer/").id("customerDataRoute") .split(body().tokenize("\n")).streaming() .parallelProcessing() .unmarsh

0热度

1回答

在iOS中管理大量文件的最佳方法

我将在我的应用中使用大量的mp3文件。现在，这是我做的：使用On Demand Resources，以便文件不会影响应用程序的大小; 在首次启动时：如果用户连接到无线网络，下载的所有文件，并将它们存储在应用程序的文件目录; 如果用户未连接到WiFi，请稍后再下载或下载。现在我的问题是：如果总文件大小达到超过300MB例如更多，这将是一个问题，因为，也许用户会因为他已经不多了删除的应用的空间

6热度

3回答

读很大的一个班轮文本文件

我有一个30MB的.txt文件，与一个行数据（30亿位数字）不幸的是，每一个方法我试过（mmap.read()，readline()，分配1GB的RAM，for循环）需要45分钟以上才能完全读取文件。我在互联网上找到的每种方法似乎都是基于每条线很小的事实，因此内存消耗仅与文件中最大的线一样大。这是我一直在使用的代码。 start = time.clock() z = open('Number

1热度

1回答

如何用python的ziplib文件压缩巨大的纯文件（+ 20GB）

我得到DeprecationWarning：不建议使用struct integer overflow掩码当文件到达4GB时，z.write中的错误。我的代码： def compressOutputFile(outputFileName, outputPath=UXConfig.myPath): os.chdir(outputPath) z= zipfile.ZipFile(o

0热度

1回答

在阅读中的R

我尝试使用下面的代码读取大文件使用laf_open_fwf固定宽度的文件如何管理流氓数据行： laf <- laf_open_fwf(paste(input$dir,"/",filename,sep=""), column_widths = col_width, column_types=rep("character",length(col_width)),

0热度

1回答

尽管将multipart-config设置为无限制大小，但大文件上传不能与JSF + tomcat配合使用

文件上传适用于小文件（在默认的2MB限制下），但不适用于较大的文件。我在Tomcat 8.0上使用JSF，并适当修改了我的web.xml以增加限制。我已经在javax.servlet.MultipartConfig的构造函数中放置了断点，所以我可以看到它读取了web.xml配置。当动作被调用时，它默认回到2MB的默认值（具体来说在Request.parseParts（...）中，包装器的配置为空，

6热度

1回答

在Flask中上传大文件

我正在尝试实现上传文件的应用程序。这个文件可能非常大。例如，尺寸差不多是2G。我已经完成了服务器端的处理功能是这样的： @app.route("/upload/<filename>", methods=["POST", "PUT"]) def upload_process(filename): filename = secure_filename(filename) fil

1热度

1回答

如何将大量的静态文本转换为Android中的数组

什么是最有效的方式来存储大量的文本，然后 - 在需要时 - 将其转换为数组，每个段落占用一个索引，所以能够将该阵列附加到一个适配器，该适配器又将被连接到Recycler-view。更复杂的是我想在显示时对每个段落应用不同的格式。那么我如何将格式化指令附加到它的段落？通过多维数组或具有键值对的数组？我想过一个SQLite数据库，但它似乎是矫枉过正，尤其是所有的文本是静态的，不会改变（它几乎就像一