将RDD [OmnitureData]写入S3

Question

我有一个RDD，其中包含我的自定义类OmnitureData的对象类型。 OmnitureData数据包含1000个数据变量。我想将数据写入S3。

data: RDD[OmnitureData] 
data.saveAsTextFile(path) 

在S3中，我看到的数据：

OmnitureFeedOutputEntry@5655c68b 
OmnitureFeedOutputEntry@kgfwe77c 
OmnitureFeedOutputEntry@4rjkks8f 
OmnitureFeedOutputEntry@57bfgk6d 
OmnitureFeedOutputEntry@646lk6sd 

我怎样才能将其存储的方式，我可以看到OmnitureData成员的实际数据？

Answer 1

找到解决方案。

def writeOnS3(data: RDD[OmnitureFeedOutputEntry], path: String)= { 
try { 
    val finalData: RDD[String] = data.map(x => { 
    implicit val formats = Serialization.formats(NoTypeHints) 
    write(x)}) 
    finalData.saveAsTextFile(path) 
    logger.info("task=writeOnS3, status=success") 
} catch { 
    case e: Exception => logger.error("task=writeOnS3, status=failure") 
} 

}