EmrActivity的输入/输出 - AWS数据管道

Question

我正在尝试使用数据管道来运行Spark应用程序。我如何在我的Spark应用程序中访问我为EmrActivity指定的输入/输出（S3DataNode）？

我的问题是与此类似 - https://forums.aws.amazon.com/message.jspa?messageID=507877

早些时候，我用来传递输入和输出参数的步骤星火应用。

谢谢

Answer 1

我跑过同一个问题。这方面的文档非常有限。这是我的理解：

1. 您指定EmrActivity的input和output。这将创建数据节点和活动之间的依赖关系。

2. 在EmrActivity，可以参考输入源是这样的：#{input.directoryPath},#{output.directoryPath}

实施例：

... 
    { 
     "name": "Input Data Node", 
     "id": "inputDataNode", 
     "type": "S3DataNode", 
     "directoryPath": "s3://my/raw/data/path" 
    }, 
    { 
     "name": "transform", 
     "id": "transform", 
     "type": "EmrActivity",   
     "step": [ 
     "s3://us-east-1.elasticmapreduce/libs/script-runner/script-runner.jar,s3://my/transform/script.sh,#{input.directoryPath},#{output.directoryPath}" 
     ], 
     "runsOn": { 
     "ref": "emrcluster" 
     }, 
     "input": { 
     "ref": "inputDataNode" 
     }, 
     "output": { 
     "ref": "outputDataNode" 
     } 
    }, 
    { 
     "name": "Output Data Node", 
     "id": "outputDataNode", 
     "type": "S3DataNode",   
     "directoryPath": "s3://path/to/output/" 
    }, 
    ...