large-files

1热度

1回答

我正在处理一个大文件（8 GB）通过内存映射文件（C＃MemoryMappedFile）。我想能够将内容放入WPF网格（例如数据网格），但我遇到麻烦，因为似乎工作的每种方法都必须将文件加载到内存中，这会破坏内存映射文件。我知道一个wpf数据网格只能访问需要的数据，但我如何将它链接到内存映射文件，以便我只能请求正在查看的字节而不必将整个内容放入内存中。我一直希望有一个像DataGrid.item

2热度

1回答

MPI散布以分发大型csv文件

我有一个很大的csv文件，我需要处理每一行来计算一些单词。我需要使用一些MPI方法在多个进程之间分配数据处理。目前，我正在使用分散/收集mpi4py库。问题是我需要创建一个长度等于进程数量的数组。但是，在创建大行数列表时，出现内存错误。 size = comm.Get_size() f=open('x.csv') lines=[[] for _ in range(size)] for lin

19热度

3回答

净重/节点Webkit - 图像解码即使它已经可见

我目前正在基于JavaScript(pure js)的游戏。游戏包含5个大精灵表（例如2861 × 768和4096 × 4864）。当游戏开始时，所有5个精灵表被预加载到画布元素。这5个精灵中的三个一起表示一个动画，其中每个精灵包含75个帧。当一个精灵以其动画结束时，我隐藏它并显示下一个精灵。当第二个精灵完成动画时，我隐藏它并显示第三个/最后一个。当第二个或第三个精灵即将显示时，会发生0.5

0热度

1回答

搜索并解析塔斯克的大型XML索引

该站点：http://w1.weather.gov/xml/current_obs/index.xml;是用纬度/经度坐标标记的美国气象台的指数，给出当前的当地天气观测值。 2257个站的文件中，每10线段看起来是这样的： <station> <station_id>PADK</station_id> <state>AK</state> <station_name>A

6热度

2回答

OpenCV将不会加载大图像（〜4GB）

我正在研究一个程序，该程序是从相当大的图像中检测彩色地面控制点。 TIFF图像大约是3 - 4 GB（大概35 000 x 33 000像素）。我正在使用Python 2和OpenCV来完成图像处理。 import cv2 img = 'ortho.tif' I = cv2.imread(img, cv2.IMREAD_COLOR) 这部分不会（总是）产生错误信息。同时显示图像的功能：

2热度

2回答

读取Pandas和/或Tableau中的CSV文件并使用不同行大小

我有一个csv文件，我想用Python中的Pandas库读取它。在本表中，当我们遇到一个新项目时（例如下面例子中的项目编号为1393或1654），我们首先有一个4列的行元数据，之后有几百列行作为与该项目相关的实际数据。然后再次发生下一个项目等等。表是这样的： 1,1393,0,0 1,1393,1,22,55,63,... 1,1393,5,32,43,163,... . . .

2热度

1回答

Ruby PStore文件太大

我正在使用PStore来存储某些计算机模拟的结果。不幸的是，当文件变得太大时（我看到的超过2GB），我无法将文件写入磁盘，并收到以下错误; Errno::EINVAL: Invalid argument - <filename> 我知道，这大概是IO的限制，但我不知道是否有解决方法。例如，要读取较大的JSON文件，我首先需要split该文件，然后分别读取它。可能最终的解决方案应该是切换到后端的

0热度

2回答

（极）大的Simulink输入文件

我有一个非常大的SIMULINK输入文件（* .CSV），其过大的单一节点处理... 我想知道是否有可能不在仿真开始时读取整个文件一次，而是根据仿真需要实时流式传输数据。我的第一个想法是在JAVA或C＃（发件人）中实现一个自定义脚本，它逐行读取输入csv文件和要通过TCP进行simulink模拟的数据。 Simulink将使用TCP块接收器接收数据。我的问题有两个：是我的做法可行吗？鉴于问

0热度

1回答

通过将文件与其他文件交叉从文件中删除子文件

N00b问题：我有两个文件，都只有较低字母的行，并且按字母顺序排序。 “file_A”具有多于11000.000行的6-7个字符，“file_B”具有约400.000行，具有3-4个字符。我想从“file_A”中删除所有行，如果它们可以部分地从“file_B”中找到对应的行（例如：删除行“bobcat”或“catwoman”从“file_A” “from”file_B“）。现在，我可以用一个简单

0热度

1回答

如何正确使用ignore_user_abort（）

我有一个从服务器读取大型csv文件的脚本。正如您在初始化上传之前所见，我使用ignore_user_abort(true)。上传完成后，我是否应该担心关闭此功能？我正确使用这个吗？有没有更好的方法去解决这个问题？ if (isset($_POST['submit'])) { try { $filePath = $_POST['filepath']; $electionTyp