管理来自不同来源的

Question

我的论文数据采集过程涉及从各种开源软件库中提取数据，并将其保存为[R对象供日后分析的对象。

为了防止已处理的数据的重新下载和再加工（大部分数据是归档），我使用digest()计算校验和（散列）用于数据源的URL，然后用比较传入的URL R数据文件以相应的校验和命名。如果一个URL的校验和与现有的R数据文件匹配，我会跳过这个URL的处理。我打算为其他来源使用类似的方法，不是通过URL检索数据，而是通过SQL查询。在这种情况下，我考虑使用digest()来计算每个数据集合SQL查询的校验和。

但是，我的主要问题是“当我想从数据文件中将R对象加载回R时，什么是最佳/最佳/正确的方法来区分R对象？。我考虑以下两种方法是：

1. 在保存数据为R的对象的过程中，动态地创建一个查找表与网址和对应校验。这将允许我从R数据文件名称追踪任何校验和到​​相应的URL以及相应的数据文件（表格）。

2. 在保存数据的过程中，请使用attr()来存储适当的信息（完整URL或仅用于基于URL的数据收集的URL文件名，或用于基于查询的数据收集的SQL查询）。

我看到的，因为它允许把URL或SQL查询信息的即时查询第一种方法（查找表）的利益，而第二种方法（属性）需要通过整个列表循环为每个数据源寻找匹配信息。同时，属性方法在保持元数据接近数据本身方面似乎更好，而查找表方法将其移动到R代码层，这创建了额外的依赖关系。

请告知这种情况和我的想法。

Answer 1

如果您确信您的数据源是静态的，则可以使用以下方法。否则，问题就更加困难，每次重新下载都变得不可避免，除非源代码为您提供了校验和（不需​​要提供完整的数据）。

在存储的R对象的目录中，比如说RDS格式，可以采用使用源的MD5哈希来命名文件的惯例。例如，如果

> digest("http://google.com/someRfile") 
[1] "bf01394aeea7b60cb0f5498c94d1b939" 

然后，你可以存储序列化对象出现在与名bf01394aeea7b60cb0f5498c94d1b939文件中的该URL。检查缓存命中是使用file.exists的简单方法。如果您希望将元数据附加到对象本身，则可以将该URL作为attr附加到对象。当然，这会造成慢速查找，因为您必须加载每个日期文件并检查其attr。

如果你希望避免的查找表的想法（这是一个好主意！瞧到SQLite作为一个简单的本地存储），你仍然可以巧妙地加以利用的文件系统。即，而不是使文件名是MD5哈希，这是一种单向散列，使用base64编码，所以它是双向的：

> library(RCurl) 
> base64("http://google.com") 
[1] "aHR0cDovL2dvb2dsZS5jb20=" 
> base64("aHR0cDovL2dvb2dsZS5jb20=", encode = FALSE) 
[1] "http://google.com" 

可以使用base64编码字符串作为您的文件名，现在可以通过简单的base64解码文件名来轻松确定序列化对象的来源。请注意，这不会使用对象的摘要，因此您仍然可以选择将元数据附加到它。

编辑：你甚至可以结合思想的东西更聪明，消除对attr在所有的需要。也就是说，您可以使用分隔符连接R对象的MD5摘要和源URL的base64编码，如-。然后，您可以使用list.files(dir)和正则表达式来查看具有给定源的文件是否存在。另一方面，您可以从一个R对象开始，计算其MD5摘要，并通过使用不同的正则表达式（找到MD5而不是base64编码，例如^[^-]+而非[^-]+$）。

Answer 2

你可能要检查出UNF包GitHub上。这是Universal Numeric Fingerprint algorithm的实现，实质上是数据集的格式独立散列（或签名）。这为数据提供了唯一的签名（无论变量的命名或数据集中变量的排序如何）。任何变化都会产生不同的UNF。您可以使用它来确保两个数据集是相同的。

你可以使用它，例如，创造你已经拥有的数据集UNFs的列表，计算出每一个新的数据集UNF和检查，对UNF签名的存储列表。

全面披露：我包的作者。

另请注意：截至今天（2014/03/28），并非所有R数据类型都得到完全支持（即日期和时间被视为字符串，而不是按照UNF算法规范正确处理），但这对您的目的可能无关紧要。