天青数据工厂数据集清理

Question

有没有人告诉我Azure数据工厂数据集是如何清理（删除，删除等）的。是否有任何政策或设置来控制它？

从我可以说，所有时间序列的数据集完整保留。我想开发一个活动，每天在Azure Blob或Data Lake存储的目标文件夹中覆盖数据（例如，映射到Azure Datawarehouse中的外部表，它是完整的数据提取）。我怎样才能实现这一点只是复制活动？我是否应该添加自定义的.Net活动来自己执行清理不再需要的数据集？

Answer 1

是的，您需要一个自定义活动来删除pipepline输出。 您可能有管道活动覆盖相同的输出，但您必须小心了解ADF切片模型和活动依赖性的工作方式，以便使用输出的任何内容都可以获得清晰且可重复的设置。