large-files

3热度

2回答

我正在尝试使用Java读取1,000,000行CSV文件。我正在使用OpenCSV库，它可以在30,000行的较小文件上正常工作。在不到半秒的时间内处理它。但是当我尝试从一百万行文件中读取时，它永远不会结束。现在我测试看看，什么时候会真正停止，并用自己的二进制搜索的版本，我第一次尝试阅读500K线，然后250K，等等，我发现它容易读数145k行，在0.5-0.7sec，而150k甚至没有完成。

0热度

1回答

服务器无法上传与gunicorn大文件

我做了一个小型服务器与烧瓶上传文件（然后做他们的东西）。上传是通过和发送文件的HTML表单： <form action="/upload" method="POST" enctype="multipart/form-data"> <input type="file" name="file"> <input type="submit"> </form> 在服务器端，我做到以

1热度

1回答

Pandas HDFStore用于外核对可变大小的集合的顺序读取/写入

我想逐步读写数据到hdf5文件，因为我无法将数据放入内存。要读取/写入的数据是整数集。我只需要按顺序读取/写入集合。不需要随机访问。就像我读set1，然后set2，然后set3等问题是，我不能通过索引检索集。 import pandas as pd x = pd.HDFStore('test.hf', 'w', append=True) a = pd.Series([1]) x.app

1热度

1回答

Java堆空间错误，我无法在java中处理大型xlsx文件

我正在使用Apache Poi XSSFWorkbooks来操作xlsx文件;我的程序在小型Excel文件（60 000行）上正常工作。当我开始在一个大文件（700 000行）上测试我的代码时，我遇到了内存问题。我在16 GB RAM的计算机上测试我的代码，但无法正常工作。这个问题的任何帮助？我阅读了SAX解析器，但我不想修改我的代码，而且我也觉得它不直观，它不是简单的，如xssf哪些有简单的方

0热度

2回答

使用AWS Kinesis进行大文件上传

我的客户端有一项存储大量文件的服务，如视频或声音文件。该服务运行良好，但看起来像长期文件存储是一个相当大的挑战，我们希望使用AWS来存储这些文件。问题在于，客户想要使用AWS kinesis将我们的服务器中的每个文件传输到AWS。这可能吗？我们可以使用该服务传输文件吗？有很多视频文件，我们每天都收到越来越多的视频文件。而且每个文件都比较大。我们也想将文件的一些细节保存到dynamoDB中，我们

0热度

1回答

在java中无法读取大于1kb的信息

我有一个关于在java中处理大型文件的问题。我在Mac Pro上使用Eclipse霓虹灯。我想用Java读取.txt文件，文件大小以MB或GM为单位。我搜索谷歌，我已经阅读了所有的问题在这里在stackoverflow，我尝试阅读文件的方式。我试过 FileReader and BufferedReader , also I tried FileInputStream 当我读取等于或小于10

0热度

1回答

轨SEND_DATA无法处理大文件（2G +）

我ENV：的Mac：10.12.4 内存：16G 红宝石：2.1.4 轨道：3.2.22.5 Web服务器：薄1.7.0 当文件大小为2G下，一切顺利。 class ItemListsController < ApplicationController ... send_data IO.read(zip_path), :type => 'application/zip',

1热度

1回答

任何兼容Heroku的Git LFS替代品？

我在周末创建了一个简单的节点/表达HTML5视频应用程序，我想将我的代码放在GitHub上，并将其部署到Heroku上。问题是我的应用程序以mp4格式提供电影预告片（每个平均2分钟），并且太大而无法使用像git lfs之类的东西上传到github。从阅读Heroku文档看来，git lfs似乎与该平台不兼容。我应该在这里做什么？有没有像git lfs和heroku这样的替代服务可以让我将代码上传

0热度

2回答

Git - 删除大文件的提交

我错误地提交了一个大文件（> 100Mb），我真的不必在我的git历史记录中包含该文件。我删除了文件，我也从git缓存中删除了它，然后再次提交。尽管如此，当我尝试推送到我的远程分支时，git给了我一个大小错误。我也试过git rebase，但是提交仍然存在，我该怎么办？ remote: error: GH001: Large files detected. You may want to t

0热度

2回答

如何搭配几种模式，但每一次

我知道，如果我有图案的文件，我可以用 grep -f pat_file search_file 正常搜索的文件。你将如何执行这个任务，以便该命令只查找每个模式一次？我要找的效率，所以它可能是写一个Python程序是这样做的最有效的方式，但我敢打赌，有什么东西在那里。