如何打开大（10GB +），文本文件和编辑

Question

我有大的txt文件，超过10GB 我应该打开此文件，并进行简单的版本： - 删除重复的行 - 拆分此文件（如5x2gb文件）

我需要什么软件？ Windows pref ...但是如果不行的话，Linux也可能很棒。 谢谢！

Answer 1

在Windows中无法确定，但在Linux中，您可以使用grep，awk和sed的组合。尝试在SO中找到它们。您可以参考下面的查询。 Basic grep/sed/awk script to find duplicates。

至于分裂，你可以尝试使用How to split one text file into multiple *.txt files?

Answer 2

你可以做到这一点使用Vim或Emacs

，因为它的包装与Git bash

你退出Vim与我会建议使用的Vim： q 如果缓冲区发生变化，您可以退出而不保存在：q！

如果Vim如果不是你，检查this答案，this链接，也许编辑在这些链接sugested更适合你。

Vim CheatSheet

Removing duplicated lines using Vim

Split file using Vim (vi.stackexchange.com)

Answer 3

在Windows上，你可以安装一个名为 “EmEditor中” 的应用程序。此应用程序可以打开大文件。这是一个许可的应用程序，但是您可以使用它一个月的试用期。进行更改并卸载。

我遇到了这个问题，我无法编辑一个大的2GB的sql文件。我经过长时间的搜索后发现了这个工具