什么类型的任务/应用程序可以使用Apache Hadoop（MapReduce函数）

Question

我不明白Hadoop可以使用哪些类型的应用程序。是否每个任务都必须为hadoop/mapreduce量身定制。例如，你可以只关联任何长期运行的Java处理过的Java吗？或者你是否专门针对hadoop定制了你的应用/任务。我想一个很好的例子是使用lucene和hadoop进行索引。

Answer 1

MapReduce是一种处理模型;它会准确告诉你你的处理任务应该适合什么。

1. 你的处理必须面向批处理
2. 你必须能够将您的工作转变成一个（组）映射和减少步骤。
3. 为了让MapReduce的可伸缩性具有任何优势，您必须能够将工作分成足够多的可独立处理的独立（!!）块。

Hadoop确实（除其他之外）MapReduce具有额外的优势，即您可以在1000个系统上可靠地并行运行作业（如果您有足够的独立作品）。

鉴于这些限制：有些事情不能完成，很多事情都可以完成。 分析日志文件（即一大组独立的行）甚至网络分析（每一个访客/会话都可以单独处理）是最常见的应用程序之一。

所以是的，你的任务必须进行改造以适应模型的工作。

Answer 2

Hadoop实际上是一个用于进程拆分/组合的引擎。你将一个任务分解成相似的数据集[map]，然后将相似的集合合并成一个结果[reduce/merge]。

它是一种制作并行应用程序的方法。映射和缩小分布在集群内的不同节点上。它是一个非常严格的任务划分和可以在进程之间传递哪些数据[必须可序列化和断开连接到其他地图/数据中的数据]

Answer 3

基本上，您必须能够将您的任务“拆分”为独立的任务。