我需要在我的ETL过程中处理交易。我正在从文件加载一些数据到我的数据库,并且我需要管理提交和回滚。如果我的数据文件中的任何行有错误或模式错误,我需要执行回滚,否则我需要将数据放入数据库表并提交更改。所以我准备好了工作,一切似乎都奏效了。但是我在ETL过程中起了作用,我想问一下,有没有更有效的方法来解决这个问题?Talend处理交易的正确方式
0
A
回答
0
这似乎是一个很好的方法。
虽然我会进入一个更普遍的方向。这意味着我会激活试图写入数据库的组件中的“Stop when error”选项。
然后,我想补充一个普通tLogCatcher组件,它会做两件事情:
- 首先,回滚与tPostgresRollback成分变化
- 然后输出数据到数据库表,日志文件或控制台上(无论何处,您可以使用它进行操作)
- 然后停止作业
优点:你可以将这个东西复制到每一个新的工作中,并且没有太多麻烦就自动记录错误。必须启用组件错误才能停止作业的选项。
0
工作看起来不错迄今。我只是有一个建议,如果这个组件有一些错误,你可以把tPostgressqlRollback(onComponentError)放在tPostgresqlOutput上。
相关问题
- 1. 正确的方式来处理错误在TSQL交易
- 2. Talend交易
- 3. 以编程方式处理Grails交易
- 4. 以编程方式处理“交易”
- 5. 正确/最好的方式来处理Android片段交易问题
- 6. JPA交易处理
- 7. 处理嵌入式neo4j内交易的最佳方式?
- 8. 处理的SSIS交易
- 9. 正确的方式来处理Quartz.NET?
- 10. 正确的错误处理方式
- 11. 正确的方式来处理与Ember.js
- 12. 异常处理WebClient.DownloadString的正确方式
- 13. C++“正确”处理异常的方式
- 14. 正确的方式来处理HttpResponseRedirect
- 15. 上导航,正确的方式处理
- 16. EF与Azure - 处理交易的建议方式是什么?
- 17. sqlite + php - 正确和最快的方式与循环做交易
- 18. SimpleMembership - 正确的方式来创建一个交易
- 19. 玩1.2.3框架 - 正确的交易方式
- 20. flask-admin处理请求正确方式
- 21. 处理领域交易
- 22. mysqli - 处理交易错误
- 23. 处理JPA交易异常
- 24. PHP PDO + PostgreSQL - 交易处理
- 25. Golang交易退出处理
- 26. 处理Uncommitable交易SQL SERVER
- 27. Neo4j交易错误处理
- 28. 碰撞后处理交易
- 29. 如何处理结果以正确的方式处理?
- 30. Liferay交易方式
了解,谢谢您的建议。 – LucasPG
你也应该关闭连接。这可能会成为一个问题,请求一个循环上的新连接(因为为什么不),而不会释放它。 (在prejob完成,postjob很简单)。 – AxelH