etl

0热度

1回答

问题：我试图将数据从SQL Server中的一个表移动到Postgresql中的另一个表。 ETL过程是这样的： def transfer_data(): sql = """SELECT TOP(100) * FROM LoanAgreements""" df = pd.read_sql(sql, lms_conn) df.to_sql(PG_TABLE, engin

1热度

2回答

Apache Camel和Apache Airflow是否重叠？它们是如何比较的？

目前，我们正在使用Apache-Camel为ETL，那就是，我们每天服用/来自不同数据库的每周/每月的出口，执行所需的操作，然后某处公布结果供其他数据库摄取。最近我看到一个Apache-Airflow谈话，在我看来，它可以做的工作，骆驼是只是做容易。更容易我的意思是它看起来会更自我记录，因此更容易维护。我对么？而为什么两者之间没有比较，就像Camel and Mule之间有比较？

2热度

1回答

SSIS - 使用ODBC SQL执行任务将参数导入要导入的结果集

首先要做的事情。我对SSIS完全陌生，并试图找出它在ETL方面的潜力，并最终转向SSAS。我有以下情形：我有一个InterSystems的数据库，我可以通过ADO .NET 我想从这个数据库中提取数据，并通过增量加载使插入到MS SQL连接我建议的解决方案/目标是：在MS SQL中有存储最后指针读取或日期/时间快照的表。（在这个阶段不合适）。让我们保持简单并说我们要使用Intersyste

0热度

1回答

使用Pentaho插入更新/合并/维度查找/更新

PostgreSQL.I中有一个表'TICKETS'使用Pentaho执行ETL作业来填充此表。还有一个用户进行更改的GUI，结果反映在此表中。在表中的字段有： "OID" Char(36) <------ **PRIMARY KEY** , "CUSTOMER" VARCHAR(255) , "TICKETID" VARCHAR(255) , "PRIO_ORIG" CHAR(36)

0热度

1回答

具有期望值的转换

我正在尝试使用powercenter设计器进行一个过程，但我没有得到所需的目标。我有这些初始数据： CODE CODE2 OPTION 001 A 89 001 A 55 001 A 12 002 B 25 002 A 59 025 A 44 我一定要得到它的代码执行以下操作：如果每个代码的几个记录，那么你必须把价值1111的选项2场的在OPTION字段中

0热度

1回答

无法在链接的服务器上运行openquery

我正在链接服务器（IBM DB2）上运行查询，我这样做的原因是因为执行简单查询需要很长时间。下面是两个查询，第一个成功地运行，因此，问题不是与查询 select top 10 * from [AS400TS_LNK].[TEST].[AUPRDDBF].CONTACCT where actrno = '8971' select * from openquery(AS400TS_LNK

0热度

2回答

SnapLogic - 你可以参数化db连接

在SnapLogic中，有没有一种方法来设置数据库连接信息的参数，这样你就可以创建一个可重复使用的管道，它可以传递选择管理单元的账户的db连接信息？

0热度

1回答

DataStage - 列出具有无效日期的字段

我想列出具有无效日期的字段。目前我只能在下面的条件下检查日期有效性。 If IsValid('%dd-%mm-%yyyy',ln_source_1.A_Date) or IsValid('%dd-%mm-%yyyy',ln_source_1.B_Date) or IsValid('%dd-%mm-%yyyy',ln_source_1.C_Date) then 1 else 0 DATE

-1热度

3回答

MYSQL更改数据捕获（CDC） - Azure服务（Azure数据工厂）

我想对MYSQL数据库的数据表执行ETL操作并将数据存储在azure数据仓库中。我没有更新日期列以标识期间的修改记录。我如何才能知道哪条记录被修改。 MYSQL数据库是否支持CDC？使用Azure服务（Azure数据工厂）可以读取MYSQL二进制日志或二进制日志？

1热度

2回答

SSIS将SQL数据库打包到Excel电子表格中的目标Unicode错误

我有一个数据库OLE源去往Excel目标。我收到以下错误数据流错误[Excel目标[88]]：列“X”不能在unicode和非unicode字符串数据类型之间转换。我在数据转换中添加了将字符串列更改为Unicode。这并没有解决问题。任何指导将不胜感激