相当于SPARK中的左外连接

Question

SPARK SCALA中是否存在左外连接等价物？我明白有相当于数据库内部连接的连接操作。

Answer 1

Spark Scala确实支持左外连接。这里有一个看看 http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

用法很简单，因为

rdd1.leftOuterJoin(rdd2) 

Answer 2

是的，有。看看DStream APIs，他们提供了左外连接和右外连接。

如果你有型的流让我们说“记录”，你想加入的记录两个流，那么你就可以做到这一点，如：

var res: DStream[(Long, (Record, Option[Record]))] = left.leftOuterJoin(right) 

随着API的说法，左，正确的流必须被散列分区。即，您可以从Record中获取一些属性（或以其他方式）来计算哈希值并将其转换为对DStream。在调用该加入函数之前，left和right流的类型将为DStream[(Long, Record)]。 （这只是一个例子，Hash类型也可以是Long以外的其他类型）。

Answer 3

这是因为rdd1.leftOuterJoin(rdd2)一样简单，但你必须确保两个RDD的是（键，值）的每个元素的形式rdd的。

Answer 4

星火SQL /数据帧API还支持左/右/ FULL 外直接加入：

https://spark.apache.org/docs/latest/sql-programming-guide.html

由于这种错误的：在星火https://issues.apache.org/jira/browse/SPARK-11111外连接1.6之前可能会很慢（除非你有非常小的数据集才能加入）。它曾经使用笛卡尔积，然后在1.6之前过滤。现在它正在使用SortMergeJoin。