从地板拼接文件读取/写入拼音张量

Question

在pyarrow中，建议如何将pyarrow.Tensor（例如从numpy.ndarray创建）写入Parquet文件？甚至可以不经过pyarrow.Table和pandas.DataFrame？

Answer 1

Parquet的数据模型是表格式的，因此tensor/ndarray必须转换为表格形式。我们没有任何内置的便利功能来帮助解决这个问题，但随时对问题跟踪器发出特定功能请求https://issues.apache.org/jira/projects/ARROW

Answer 2

Parquet格式针对嵌套数据表进行了优化，即它预期数据是表示为命名列。这与n维列的想法有点相反。对于张量，最好选择不同的格式。