需要转换perl中的大csv文件

Question

csv数据文件总共为3.2 GB，上帝知道有多少行和列（假设非常大）。该文件是针对个体群体的具有SNP数据的基因组学数据。因此，csv文件包含诸如TD102230之类的ID和遗传数据，例如A/A和A/T。

现在我使用了Text::CSV和Array::Transpose模块，但似乎无法正确（如在计算集群中冻结）。有没有特定的模块可以做到这一点？我是Perl新手（在低级编程方面没有太多经验，以前主要使用R和MATLAB），所以对这些详细的解释尤其欢迎！

Answer 1

直接回答，你应该逐行读取文件中的行，处理他们Text::CSV，与join推和新的价值观，每个阵列阵列对应于原始列，然后只输出它们或希望得到原来的转置表示。在join之后处理每个阵列也将帮助解决记忆问题。

将值写入到外部文件而不是数组并将它们与OS设施结合是另一种解决内存需求的方法。

你也应该考虑为什么你需要这个。是否真的没有更好的方法来解决手头的真实任务，因为转移本身并没有真正的目的？

Answer 2

将任务分解为几个步骤来节省内存。

1. 读取一行并将字段写入以行号命名的文件中。每场输出一行。
2. 重复步骤1，直到输入CSV文件耗尽。
3. 使用paste将所有输出文件合并为一个大文件。