筛选火花RDD

Question

是否有可能在一个特定的列值在RDD .Eg过滤：

[(u'62d45630-587a-4290-91e1-a86fbe019bb5', (Row(process_id=1, event_id=u'62d45630-587a-4290-91e1-a86fbe019bb5', event_type=u'PlannedCustomerChoiceWasUpdated', publishedDate=u'2016-07-27T04:16:13.650Z', tgt_tbl_n=u'raw_plan', subj_area=u'plan', flag=u'R', url=u'http://gbp-router.gapinc.dev:8080/planning-service/planning/buy-plan/planned-customer-choices/a448760d-6d92-4dc9-b04a-7ec22673a158', url_id=u'a448760d-6d92-4dc9-b04a-7ec22673a158'), '{"ts":"2016-07-28T11:54:54.748Z","httpStatus":404,"errors":[{"code":"notFound","message":"Planned Customer Choice with id a448760d-6d92-4dc9-b04a-7ec22673a158 does not exist."}],"requestId":"ugM4CXkgax5qxILq"}', None, u'2016-07-27T04:16:13.650Z', 'N'))] 

的RDD是关键，价值form.I想在值过滤[ 4]，即'N'。 任何人都可以请帮助我。

Answer 1

我不太明白你想要完成什么，因为你的问题对我来说有点不清楚，但是在RDD上有不同的过滤方法。

RDD本身没有一个模式，所以你不能按照我所知在这里按列进行过滤。如果您想要在RDD上运行SQL查询，则可以通过应用架构并使用toDF（）函数将RDD转换为Dataframe。然后可以对数据库中的表格同样处理Dataframe。

http://spark.apache.org/docs/latest/sql-programming-guide.html#interoperating-with-rdds

另一种方法上的RDD滤波器是一个过滤器（）函数。

http://spark.apache.org/docs/latest/quick-start.html#basics

我猜你的RDD有一个可迭代的第二值的元组的形式。您可以通过Iterable运行并筛选与您的条件不符的所有值。您也可以筛选您的Iterable中的最后一个位置，因为您的数据语法总是相同的。

希望有帮助！