hdf

3热度

2回答

熊猫：同一HDF中的大型数据框？

我有几个不同的数据框是相关的（如果需要，还有ID加入）。但是，我不需要总是需要他们在同一时间。由于它们非常大，将它们存储在不同的HDF商店中有意义吗？或者，当我在同一个文件中的其他帧上工作时，携带“未使用”帧的代价可以忽略不计？

2热度

1回答

将数据保存在熊猫中时宽vs长格式hdf5

熊猫数据框通常以long（很多行）或wide（很多列）格式表示。我不知道哪种格式更快地读取并占据时保存为HDF文件（df.to_hdf）的内存更少。是否有一个通用规则或某些格式应该是首选的情况？

0热度

1回答

如何念想csv文件H5文件

我有这样与csv文件对象的工作 #diplay_id, ad_id, clicked(1 or 0) colls = {'display_id':np.int32, 'ad_id':np.int32, 'clicked':bool} trainData = pd.read_csv("trainData.csv") for did, ad, c in trainDat

2热度

1回答

将Pandas DataFrames保存为HDF5商店，各种错误

只想将某些Pandas DataFrames存档在HDF5商店（.h5文件）中。以下是我正在使用的代码。 # Fake data over N runs Data_N = [] for n in range(5): Data_N.append(np.random.randn(5000,15,125)) # Create HDFStore object store = pd.HD

0热度

1回答

从IDL中的多个HDF文件读取和写入数组

我对IDL相当陌生，而且我正在尝试编写一个代码，它将采用MODIS HDF文件（第三级数据MOD14A1和MYD14A1为特定数据），读取数组，然后将数组中的数据最好写入一个csv文件，但ASCII也可以工作。我有允许我为一个文件执行此操作的代码，但我希望能够为多个文件执行此操作。基本上，我希望它读取一个HDF数组，将其写入一个csv，移至下一个HDF文件，然后将该数组写入下一行中的同一个csv文

0热度

1回答

错误的Apache NiFi的ExecuteSQL处理器：org.apache.avro.UnresolvedUnionException：不愈合[ “空”， “长”]

表结构： ID BIGINT（20），无符号整型，AUTOINCREMENT account_id INT（64），UNSIGNED INT，可以为NULL 有人能解决这个错误吗？我使用Apache NiFi 0.7.0

0热度

1回答

如何使用字符串作为变量名称保存hdf5文件中的变量？

我有一个hdf5文件，包含多个我想要自动存储在列表或矩阵中的变量。 library(rhdf5) file = H5Fopen("myfile.h5") file HDF5 FILE name/ filename name otype dclass dim 0 AGB_CO H5I_DATASET FLOAT 3 1 AGB_C

0热度

1回答

尝试编译HDF4程序时包含文件的错误

我试图编译使用HDF4库的程序。我在我的计算机上安装了HDF4/usr/local /，并且已经确认已安装所有必需的脚本，包括文件和库，并且所有环境变量都已正确设置。我创建了一个Makefile，将我的两个C文件编译成目标文件，然后将它们链接在一起。当我编译第一个C文件“readHDFfuncs.c”时，编译器告诉我所有被调用的HDF4函数都没有被声明。这不应该发生，因为我的h4cc编译器正确地包

0热度

1回答

将键/值对列表转换为存储在HDFStore中的熊猫数据框

有类似的问题，但它们都不处理我的数据框位于HDFStore中的情况。我需要将时间戳/键/值项目列表转换为数据框并将其存储为多个数据框，每个数据框都在时间戳上编制索引，然后将其保存在HDFStore中。示例代码：这个代码运行 from pandas import HDFStore from pandas import DataFrame store = HDFStore('xxx', dri

0热度

1回答

用sqlite替换hdf5

由于hdf5无法很好地处理同一文件中的新数据（文件变大）。用sqlite + sql akchemey替换它会有什么缺点？