etl

1热度

1回答

“truncate table？”语句（不带双引号）执行SQL任务失败。我已将结果集设置为“无”，使用输入参数传递表名称。

0热度

2回答

我想使用Spark DataSet加载相当大的数据（比方说），其中的子集数据看起来如下所示。 |age|maritalStatus| name|sex| +---+-------------+--------+---+ | 35| M| Joanna| F| | 25| S|Isabelle| F| | 19| S| Andy| M| | 70| M| Robert| M

0热度

1回答

如何总结每天和每周定义的层次结构的事件类型（使用SQL或ETL）

如果我有以下事件表，并且我想总结一下，那么对于每个ID，EventDay，EventWeek，我会得到1行，如EventStatus被报告为最严重/涉及(High>Low>Normal)。该解决方案将需要处理更多的事件周活动的日子是这样的东西，可以用例如MySQL或MariaDB的兼容SQL或完成将ETL过程更适合的任务（与步骤概述）？ SampleTable ID EventStatus

0热度

1回答

火花斯卡拉RDD /数据帧保存过滤和拒绝的数据

我有一个文件是这样的： id,insert_date,name ==================== 1,20170620,abc 2,20170620,xyz 1,20170621,pqr 3,20170624,huy ,20170624,stu 我需要空ID，以过滤掉的记录。此外，如果有任何ID正在重复，我需要选择带有max（insert_date）的记录。我做这样的：

0热度

1回答

greenplum中的增量负载

我在greenplum中有外部和内部表。外部表格指向hdfs一个csv文件。 Hdfs中的这个csv文件每小时获得一张表的完整数据。在greenplum的内部表格中增量加载数据的最佳方式是什么？

0热度

1回答

在Talend中 - 如何将表格添加到MySQL中

我有一些CSV文件需要导入到我的数据仓库中。由于csv文件的列可能每天都在更改，因此我决定删除旧表并为每个CSV文件每天创建一个新表。我更愿意使用Talend作业来做到这一点。如果有人告诉我如何使用Talend作业在MySQL中删除表或创建新表，我将不胜感激？

0热度

1回答

从ssis2005升级到ssis2008r2的包不能从sql代理作业执行

我将一组ssis包从2005升级到2008r2。相应的数据库已经从sql2005升级到sql2014。这些软件包从BIDS运行良好。但是，当我从新的SQL Server代理作业执行它们（我已经检查了使用，32位运行时复选框），包失败，错误消息 Executed as user: ADMIN\SvcSQL13DVMDDEW03. Microsoft (R) SQL Server Execute Pa

0热度

2回答

跨ETL工具在ETL作业上迁移

我想开发一个解析逻辑，以便可以以xml格式提取作业（AI中的图形，Inofrmatica中的图形或DS中的作业），并跨ETL工具进行迁移，而无需返工在另一个目标ETL工具中重新创建作业/图表/映射。任何人都可以提供任何线索？

-1热度

2回答

的SQL Server 2014从2015年SSDT

包你好，我在2015年SSDT创建一个包，我想在SQL Sever的运行它2014年我试图“拯救的副本。”得到它保存在SQL服务器。当我创建了一个作业，并尝试执行包我得到一个错误： Could not load package "\pl_dump" because of error 0x80131430. 我一直试图让这个工作了几天，看到这么多不同的教程和不同的软件，但没有成功下载。有谁知道如何

2热度

3回答

SSIS在脚本任务中读取平面文件连接

我正在研究一个2008 SSIS，我需要读取一个平面文件以便可以访问其内容（具有3个目录路径），因此可以存储这3个路径变成变量。根据我正在开发的实例（dev，qa，production），平面文件将位于3个不同的服务器中，所以我不能将路径写入变量，因为我必须重写每当我需要在不同的实例中部署解决方案时，这个价值就会得到体现。我过去试过的一些东西是使用Directory.GetCurrentDir