导入数据

Question

圣路易斯联邦储备银行有很大的一套，如对各种其网页的可用数据，的：

http://research.stlouisfed.org/fred2/series/OILPRICE/downloaddata?cid=32217 http://www.federalreserve.gov/releases/h10/summary/default.htm http://research.stlouisfed.org/fred2/series/DGS20

数据集得到更新，有时甚至每天都如此。我倾向于对日常数据感兴趣（请参阅上述URLS上的设置）

我想直接导入这些类型的价格或费率数据流（可在上述URL中以CSV或Excel文件访问）进入Mathematica。

我已经看过导入文件[]，但我发现如何去做这样的事情很少文档（实际上没有）。

它看起来像我需要导航到页面，发送一些数据来选择特定的文件和格式，触发下载，然后从我自己的机器访问下载的数据。更好的是，如果我可以直接从网站访问数据。

我曾希望Wolfram Alpha可能使这种事情变得简单，但我没有取得任何成功。

FinancialData[]对于这类事情看起来很自然，但我还是没有看到这样做。财务数据有很多功能，但我不认为你有这种方式。

有没有人有这方面的经验，或有人可以指出我在正确的方向吗？

Answer 1

您可以直接从URL中获取Import。例如，来自federalreserve.gov的数据可以如下获得并可视化。

url = "http://www.federalreserve.gov/datadownload/Output.aspx?"; 
url = url<>"rel=H10&series=a660e724c705cea4b7bd1d1b85789862&lastObs=&"; 
url = url<>"from=&to=&filetype=csv&label=include&layout=seriescolumn"; 
data = Import[url, "CSV"]; 
DateListPlot[data[[7 ;;]], Joined -> True] 

为方便起见，我分手了url，因为它太长了。在我确切地知道如何绘制它之前，我必须检查data的内容 - 这通常是必需的步骤。我确信stlouisfed.org的数据可以用类似的方式获得，但它需要使用带密钥的API访问它。

Answer 2

正如Mark所说，您可以直接从URL获取数据。你的油的数据可以从不同的URL导入比你有：

http://research.stlouisfed.org/fred2/data/OILPRICE.txt

使用该URL，你可以这样做：

oil = Import["http://research.stlouisfed.org/fred2/data/OILPRICE.txt", 
"Table", "HeaderLines" -> 12, "DateStringFormat" -> {"Year", "Month", "Day"}]; 
DateListPlot[oil, Joined -> True, PlotRange -> All] 

注意， “HeaderLines” - > 12选项剥去标题文本在前12行（您必须计算标题行以知道要删除多少行）。我也指定了日期格式。

要找到该URL，请按照以前的方法进行操作，但请单击数据系列，然后在看到图表时从左侧菜单中选择“查看数据”。

Answer 3

文档对提取数据进行网页的简单的例子：

http://reference.wolfram.com/mathematica/howto/CleanUpDataImportedFromAWebsite.html

当然，实际上需要做的将显著变化一页一页的内容。如何与这里的API密钥做到这一点

Answer 4

讨论：

http://library.wolfram.com/infocenter/MathSource/7583/

功能是基于API文档上。我没有看过这些代码几年，从记忆中我很快就把它放在一起，但是我经常使用它2年以上没有问题。这是从1992年年初的每月非季节性因素调整后的零售销售为例，现在：

Wolfram Alpha的也使用FRED数据，因此你可以使用它作为替代直接进口，但它是更棘手的查询权。我更喜欢直接使用FRED。另外从内存中，数据仅在发布后的第二天才可用，这不是您通常想要的。