R当DOM和SAX解析器都失败时该怎么办？

我有一个非常大的大约45 GB的XML文件，我试图解析并创建一个数据帧。 xml具有相当简单的结构，如下所示。我想读取标签<event>下的属性，当型号为输入链接或左侧链接。R当DOM和SAX解析器都失败时该怎么办？

<?xml version="1.0" encoding="utf-8"?> 
<events version="1.0"> 
    <event time="10800.0" type="actend" person="9982471" link="21225" actType="home" /> 
    <event time="10800.0" type="departure" person="9982471" link="21225" legMode="car" /> 
    <event time="10800.0" type="PersonEntersVehicle" person="9982471" vehicle="9982471" /> 
    <event time="10800.0" type="actend" person="9656271" link="21066" actType="home" /> 
    <event time="10833.0" type="entered link" person="4250461" link="24329" vehicle="4250461" /> 
    <event time="10835.0" type="left link" person="1662941" link="29242" vehicle="1662941" /> 
    <event time="10835.0" type="entered link" person="1662941" link="29239" vehicle="1662941" /> 
    <event time="10836.0" type="left link" person="7651702" link="7359" vehicle="7651702" /> 
    <event time="10836.0" type="entered link" person="7651702" link="7407" vehicle="7651702" /> 
    <event time="10840.0" type="left link" person="8909152" link="5664" vehicle="8909152" /> 
</events>

我试过基于DOM的xmlparse()函数，但由于内存问题，它没有帮助。然后，我尝试了一个基于SAX的代码（如下所示），但它耗时太长。例如，要读取1％的样本并从中创建一个数据框，我花了大约5个小时。因此，为了完成整个数据，我需要大约20天的时间（假设它可以线性缩放）。你能帮我解决这个问题吗？以下是指向very small sample,1% sample,5% sample和full data的链接。

这是我使用的SAX代码。

library(XML) 

branchFunction <- function() { 
    store <- new.env() 
    new_counter <- (function() { 
    i <- 0 
    function() { 
     i <<- i + 1 
     i 
    } 
    })() 
    func <- function(x, ...) { 
    ns <- getNodeSet(x,path = "//event[@type='left link' or @type='entered link']") 
    value <- lapply(ns, xmlAttrs) 
    store[[toString(new_counter())]] <- value 
    } 
    getStore <- function() { as.list(store) } 
    list(event = func, getStore=getStore) 
} 

myfunctions <- branchFunction() 

xmlEventParse(file = "percent1.gz", handlers = NULL, branches = myfunctions) 
l <- myfunctions$getStore() 
l <- unlist(l, recursive = FALSE) 
df <- data.frame(matrix(unlist(l), nrow=length(l), byrow=T),stringsAsFactors=FALSE) 
colnames(df) <- c("time", "type", "person", "link", "carid")

的输出必须是这样的

> head(df) 
    time   type person link carid 
1 10934.0 entered link 9656271 16260 9656271 
2 10935.0 left link 8909152 6014 8909152 
3 10935.0 entered link 8909152 6034 8909152 
4 10936.0 left link 1504062 25541 1504062 
5 10936.0 entered link 1504062 25384 1504062 
6 10936.0 left link 3055801 31464 3055801

来源

2016-03-24 Gandalf

你做错事在你的SAX方法，可能重新处理每个XPath表达式整个文件。 –

它可能是。但是，我不知道我的代码是否以及什么是问题。 – Gandalf

在XPath中，双向正斜杠'//'搜索xml文档中的任何地方，并且通常被认为是一种昂贵的方法，因为每个命令都会扫描树结构中的所有潜在后代。 – Parfait

使用撒克逊，下面的XSLT 3.0样式表处理您percent1样品（413Mb）在14.5秒：

<xsl:stylesheet version="3.0" 
    xmlns:xsl="http://www.w3.org/1999/XSL/Transform" 
    xmlns:xs="http://www.w3.org/2001/XMLSchema" 
    exclude-result-prefixes="xs" 
    expand-text="yes"> 

    <xsl:template name="xsl:initial-template"> 
    <xsl:stream href="percent1.xml"> 
     <xsl:for-each select="/events/event[@type=('entered link', 'left link')]"> 
     {position()} {@time} {@person} {@link} {@person} 
     </xsl:for-each> 
    </xsl:stream> 
    </xsl:template> 

</xsl:stylesheet>

内存使用是13MB （这不会随着文件大小的增加而增加）。整个数据集的推断时间约为25分钟。

来源

2016-03-25 00:04:39

@MichaelKay。感谢您的解决方案。然而，当我使用'java -cp“C：\ Users \ u \ Dropbox \ saxon9.jar来运行这个”net.sf.saxon.Transform -s：percent100.xml -xsl：readplans.xsl -o：output.txt '它给我错误'xplan.xsl的第8行xsl：stream处的错误： XTSE0010：未知的XSLT元素：流'。我对你的样式表进行的唯一修改是'' – Gandalf

这是一个使用流的XSLT 3.0样式表，所以你需要Saxon-EE来运行它。您可以获得免费的30天评估许可。 –

好的。我发送了一个请求。只要好奇这行''。这不是多余的，因为我在上面的命令行语法中提供了源文件？ – Gandalf

要扩展@ MichaelKay的答案，请考虑使用XSLT解决方案。作为信息，XSLT是特殊用途的声明性编程语言，专门用于将XML文件转换为各种格式，包括其他XML，HTML甚至文本（txt，csv等），以满足最终用途需求，例如R数据框。大多数通用语言包括C＃，Java，Perl，Python，PHP，VB都配备了XSLT 1.0库 - 有些像Java，XSLT 2.0和3.0库，如Saxon和Xalan。此外，像PowerShell和Bash这样的命令行解释器可以运行XSLT。 R甚至有限制使用libxslt gnome模块的Sxslt库，但仅限于Linux机器。

R可以使用system()作为子进程调用其他脚本和/或可执行文件，如下所示。为了您的大的XML文件，考虑转变成csv文件（S）的R导入（删除任何解析需要）：

XSLT（外部通常保存为的.xsl或.xslt）

<xsl:transform xmlns:xsl="http://www.w3.org/1999/XSL/Transform" version="1.0"> 
<xsl:output version="1.0" encoding="UTF-8" indent="yes" method="text"/> 
<xsl:strip-space elements="*"/> 

    <!-- Identity Transform --> 
    <xsl:template match="@*|node()" priority="1"> 
    <xsl:copy> 
     <xsl:apply-templates select="@*|node()"/> 
    </xsl:copy> 
    </xsl:template> 

    <!-- Comma-separated values --> 
    <xsl:template match="event[@type=('entered link','left link')]" priority="2">  
    <xsl:value-of select="concat(@time, ',', 
           @type, ',', 
           @person, ',', 
           @link, ',', 
           @vehicle)"/><xsl:text>&#xa;</xsl:text> 
    </xsl:template> 

</xsl:transform>

CSV输出（使用上述样品）

#10833 entered link 4250461 24329 4250461 
#10835 left link  1662941 29242 1662941 
#10835 entered link 1662941 29239 1662941 
#10836 left link  7651702 7359 7651702 
#10836 entered link 7651702 7407 7651702 
#10840 left link  8909152 5664 8909152

[R脚本

# COMMAND LINE CALL(S) 
# PYTHON SCRIPT (USING LXML MODULE) 
system('python dir/XSLT_Transform_Script.py') 
# SAXON HE (JAVA PLATFORM) 
system('java -jar dir/saxonhe.jar -s:Input.xml -xsl:XSLTscript.xsl -o:Output.csv') 
# BASH UNIX XSLTPROC 
system('xsltproc XSLTscript.xsl Input.xml -o Output.csv') 
# POWERSHELL WINDOWS SCRIPT W/ ARGS 
system('Powershell.exe -File XSLTransform_Script.ps1 Input.xml, XSLTScript.xsl, Output.csv') 

# DATA FRAME IMPORT 
df <- read.csv("Output.csv", header=FALSE) 
colnames(df) <- c("time", "type", "person", "link", "carid")

来源

2016-03-25 15:39:01 Parfait

R当DOM和SAX解析器都失败时该怎么办？

回答

相关问题