large-files

0热度

1回答

我发现此代码HttpURLConnection to Send image , audio and video files with parameter may (String or Json String) Android，它可以与视频，图像和音频完美配合。但是，当我送一个大的视频我得到这个错误： Throwing OutOfMemoryError "Failed to allocate a 2

0热度

3回答

读取和存储大型ASCII文件的内容

我得到一个538MB的ASCII文件，16807行，每行有16807个0和1个空格分隔。我想要将所有这些值存储在列表中，以便将每一行存储在新列表中。在之前的项目中，我为文本文件做了下面的代码，但是使用ASCII文件，它会引发Java堆空间错误。 ArrayList<ArrayList<String>> listOflists = new ArrayList<ArrayList<String>>(

0热度

1回答

Nginx和Tornado：发送大文件到http客户端

我写了一个旨在用于查看大型日志文件的web应用程序。每个日志文件可以大于500MB，并且每个文件包含100K行或更少的行。我使用supervisord来管理启动8个龙卷风和nginx实例，以将请求重定向到8个龙卷风实例中的每一个实例。部署后，我注意到请求被锁定，并且有大量的内存使用。我目前的实现是从文件中逐一读取每一行并通过websocket发送它。我选择通过websocket进行通信，因为它允

1热度

2回答

阅读里面tar文件大文件头（〜9GB）不足额提取

我〜1GB * .tbz的文件。在每个文件里面都有一个〜9GB的文件。我只需要读取这个文件的头部，前1024个字节。我想，因为我有数百个这样的文件1GB我要处理这个要做到这一点尽可能快。它需要大约1分30秒的时间来提取。我试着用足额提取： tar = tarfile.open(fn, mode='r|bz2') for item in tar: tar.extract(item)

0热度

2回答

如何上传上fineuploader

我使用上传文件fineuploader插件大尺寸的文件，但我不能上传大尺寸文件（大约2 GB），我做了下面的事情要做到这一点上传在以下 memory_limit, upload_max_filesize, post_max_size $uploader->sizeLimit = null;更改的php.ini endpoint.php

0热度

2回答

Perl - 在写入过程中更改文件名

我正在尝试在Perl中创建一个非常大的txt文件（超过一百万行），并通过Perl中的其他语句运行它，基本上看起来像这样（注意以下几点被壳） a=0 b=1 while read line; do echo -n "" > "Write file"${b} a=($a + 1) while ($a <= 5000) do echo $line

2热度

1回答

Sax从S3解析大文件

我在s3（50GB）上有一个很大的xml文件。我想将此文件流式传输到sax xml解析器，以便使用ruby进一步处理。我如何在一个环境中做到这一点，我可以在本地下载整个文件，但只能通过tcp从s3流式传输它？我在考虑使用https://github.com/ohler55/ox解析它自己，而https://github.com/aws/aws-sdk-ruby用于访问S3上的文件。我只是不确定如

9热度

1回答

使用jQuery文件上传上传大文件超过1GB到2GB - blueimp（基于Ajax）PHP /警予它

我想上传了1GB一个大文件2GB使用（基于Ajax）jQuery File Upload - blueimp显示在Firefox浏览器错误php/yii Framework 1.15我已设置这些值来上传更大的文件 memory_limit = 2048M upload_max_filesize = 2048M post_max_size = 2048M 会议时间设定 ini_set('se

4热度

1回答

Ruby的CSV.open缓冲区是否可以一次写入内存？

CSV.openCSV.open将数据存储在内存中并在块退出时写入文件一次，否则它会自动写入很多批次？ require 'csv' CSV.open('result.csv', 'wb') do |csv| while row = next_row csv << row end end

6热度

1回答

PHP中大文件的零碎bzcompression

在PHP中创建bzip2归档数据非常简单，这要归功于其在bzcompress中的实现。在我现在的应用程序中，我不能简单地将输入文件读入一个字符串，然后调用bzcompress或bzwrite。 PHP文档并没有说明使用相对较少数据量的连续调用bzwrite是否会产生与一次压缩整个文件相同的结果。我的意思是沿着 $data = file_get_contents('/path/to/bigfile'