负载CKAN数据集

如何：

负荷从网络
一个CKAN数据集改变这个数据集为大熊猫数据帧

And我需要在ckan网站注册才能查询数据？

我使用Pyhton 3.6.1

编辑2： 我曾试图后续代码：

import urllib 
url = 'http://dados.cvm.gov.br/api/action/datastore_search?resource_id=92741280-58fc-446b-b436-931faaca4fb4&q=CNPJ_FUNDO:11.286.399/0001-35' 
fileobj = urllib.request.urlopen(url) 
print(fileobj.read())

但是，结果是这样的：

b '{“help”： “http://dados.cvm.gov.br/api/3/action/help_show?name=datastore_search”， “success”：true，“result”：{“resource_id”： “92741280-58fc-446b-b436-931faaca4fb4”，“fields”：[{“type”：“int4”， “id”：“_id”}，{“type”：“text”，“id” “CNPJ_FUNDO”}，{“type”： “timestamp”，“id”：“DT_COMPTC”}，{“type”：“numeric”，“id”： “VL_TOTAL”}，{“type”：“numeric “，”id“：”VL_QUOTA“}，{”type“： ”numeric“，”id“：”VL_PATRIM_LIQ“}，{”type“：”numeric“，”id“： ”CAPTC_DIA“ “type”：“numeric”，“id”：“RESG_DIA”}，{“type”： “numeric”，“id”：“NR_COTST”}，{“type”：“int8”，“id” _full_count“}， {”type“：”float4“，”id“：”rank“}]，”q“： ”CNPJ_FUNDO：11.286.399/0001-35“，”records“：[]，”_links “：{”start“： ”/api/action/datastore_search?q=CNPJ_FUNDO%3A11.286.399%2F0001-35 & resource_id = 92741280-58fc-446b-b436-931faaca4fb4“，”next“ ： “/api/action/datastore_search?q=CNPJ_FUNDO%3A11.286。399％2F0001-35 &偏移量= 100 & RESOURCE_ID = 92741280-58fc-446B-b436-931faaca4fb4" }}}”

我需要像this image

来源

2017-07-31 Matheus

欢迎计算器。正如目前所说，你的问题有点过于通用。如果您更新您的问题以证明您迄今为止已尝试过，并分享您之前关于此主题的研究，则您可能会得到更好的答案。 –

顺便说一句，在你链接的页面中有一个Python例子（点击“API de Dados”链接并向下滚动），你有什么问题吗？ –

我没有尝试过任何东西，因为这是个疑问：如何使用Web链接来研究/加载ckan数据集。 – Matheus

负载的数据集CKAN结果从网络

您所连结的网站有链接 “API德Dados” 一个Python的例子：

import urllib 
url = 'http://dados.cvm.gov.br/api/action/datastore_search?resource_id=92741280-58fc-446b-b436-931faaca4fb4&limit=5&q=title:jones' 
fileobj = urllib.urlopen(url) 
print fileobj.read()

变换该数据集到一个大熊猫数据帧

随你与任何JSON数据集做，分析它并负载在数据帧中（有什么具体到这里CKAN）：

>>> import pandas as pd 
>>> import json 
>>> response = json.loads(fileobj.read()) 
>>> pd.DataFrame(response['result']['records']) 

    CAPTC_DIA   CNPJ_FUNDO   DT_COMPTC NR_COTST RESG_DIA \ 
0  0.00 00.017.024/0001-53 2017-07-03T00:00:00  1  0.00 
1  0.00 00.017.024/0001-53 2017-07-04T00:00:00  1  0.00 
2  0.00 00.017.024/0001-53 2017-07-05T00:00:00  1  0.00 
3  0.00 00.017.024/0001-53 2017-07-06T00:00:00  1  0.00 
4  0.00 00.017.024/0001-53 2017-07-07T00:00:00  1  0.00 

    VL_PATRIM_LIQ   VL_QUOTA VL_TOTAL _id 
0 1111752.99 25.249352000000 1111831.24 1 
1 1112087.29 25.256944400000 1112268.26 2 
2 1112415.28 25.264393500000 1112716.06 3 
3 1112754.06 25.272087600000 1113165.75 4 
4 1113096.62 25.279867600000 1113293.06 5

，我需要有CKAN网站的寄存器来查询数据？

您不需要在您链接的网站上注册，我可以在不注册的情况下检索数据。我更喜欢使用requests库：

import requests 
import pandas as pd 

params = params={ 
    'resource_id': '92741280-58fc-446b-b436-931faaca4fb4', 
    'limit': 5, 
} 
url = 'http://dados.cvm.gov.br/api/action/datastore_search' 
r = requests.get(url, params=params).json() 

df = pd.DataFrame(r['result']['records'])

貌似limit and offset parameters probably behave like in SQL。您可能必须将列转换为数字/日期类型，这与ckan无关，您可以在熊猫文档中找到有关如何执行此操作的答案。

>>> df.describe() 
      _id 
count 5.000000 
mean 3.000000 
std 1.581139 
min 1.000000 
25% 2.000000 
50% 3.000000 
75% 4.000000 
max 5.000000

转换是很容易的：

>>> for col in ('CAPTC_DIA', 'NR_COTST', 'RESG_DIA', 'VL_PATRIM_LIQ', 'VL_QUOTA', 'VL_TOTAL'): 
... df[col] = pd.to_numeric(df[col]) 

>>> df['DT_COMPTC'] = pd.to_datetime(df['DT_COMPTC']) 

>>> df.describe() 
     CAPTC_DIA NR_COTST RESG_DIA VL_PATRIM_LIQ VL_QUOTA  VL_TOTAL \ 
count  5.0  5.0  5.0 5.000000e+00 5.000000 5.000000e+00 
mean   0.0  1.0  0.0 1.112421e+06 25.264529 1.112655e+06 
std   0.0  0.0  0.0 5.303356e+02 0.012045 6.123444e+02 
min   0.0  1.0  0.0 1.111753e+06 25.249352 1.111831e+06 
25%   0.0  1.0  0.0 1.112087e+06 25.256944 1.112268e+06 
50%   0.0  1.0  0.0 1.112415e+06 25.264394 1.112716e+06 
75%   0.0  1.0  0.0 1.112754e+06 25.272088 1.113166e+06 
max   0.0  1.0  0.0 1.113097e+06 25.279868 1.113293e+06 

      _id 
count 5.000000 
mean 3.000000 
std 1.581139 
min 1.000000 
25% 2.000000 
50% 3.000000 
75% 4.000000 
max 5.000000

来源

2017-07-31 16:29:32

负载CKAN数据集

回答

相关问题