2017-06-02 220 views
1

当我尝试从一个zip文件中加载一个大的CSV,执行日志给我下面的错误:Cloudconnect CSV缓冲区大小

----------------------------------------- Error details ------------------------------------------ 
    Component [Clientes:CLIENTES1] finished with status ERROR. 
    The size of data buffer is only 100663296. Set appropriate parameter in defaultProperties file. 
-------------------------------------------------------------------------------------------------- 

我如何可以设置默认属性相应的参数文件?

我想这link,但我cloudconnect运行配置页是从链接不同:enter image description here

我创建的参数文件,并用正确的价值观充满了更多的参数,如说教程(代码波纹管)并在屏幕上出现相同的错误。

Name: -config; Value: new_buffer_size.txt 

的new_buffer_size.txt内容刚刚这一行:DEFAULT_INTERNAL_IO_BUFFER_SIZE = 200000000

我怎样才能解决这个问题?我需要在世界爆发之前解决这个问题。

回答

1

CloudConnect旨在开发可在GoodData云工作人员上运行的ETL,因此在这种情况下会超出一些较低级别的设置。唯一合法的方法是按照当前设置处理数据的方式修改ETL。关于文档,引用的文章已过时。 GoodData docs团队知道它是否正在准备文档重构。

注意:您可能注意到,CloudConnect由Javlin的Clover ETL提供支持,因此您可以随时查看他们的论坛,因为您会发现如何在较低级别(无UI)上解决问题,但它会仅适用于本地机器上的数据处理。