如何使用pentaho水壶从s3存储桶加载多个文件

我想使用步骤S3 CSV Input从s3存储桶加载多个文件，然后转换并重新加载回S3。但我可以看到这一步只支持一个文件，我需要提供文件名，有没有办法一次加载所有文件，只需提供桶名即<s3-bucket-name>/*？如何使用pentaho水壶从s3存储桶加载多个文件

来源

2017-01-23 DevEx

S3-CSV-Input

通过CSV-Input启发和不支持多文件处理等Text-File-Input确实，例如。首先你必须retrieve the filenames，所以你可以像在CSV-Input那样遍历文件名列表。

来源

2017-01-23 09:43:25 marabu

我用'Execute Shell script'来获取桶中所有文件的列表，我如何将stdout输出传递给循环？ – DevEx

将aws stdout重定向到临时文件，例如使用'Text-File-Input'提取文件名，通过'Copy-Rows-To-Result'传递文件名到循环转换（高级选项“对每个输入行执行”）。定义一个参数FILENAME并在变换的参数设置页面上初始化它。不要忘记启用高级选项“将以前的结果复制到参数”。与[水壶]玩得开心（http://forums.pentaho.com/forumdisplay.php?135-Pentaho-Data-Integration-Kettle）。 – marabu

如何使用pentaho水壶从s3存储桶加载多个文件

回答

相关问题