从API下载csv数据

-1

我试图从API下载csv数据，然后编辑我正在努力获得不同的功能一起工作。从API下载csv数据

即通过导出链接来下载文件，然后通过打开它。

''' 
File name: downloadAWR.py 
Author: Harry&Joe 
Date created: 3/10/17 
Date last modified: 5/10/17 
Version: 3.6 
''' 

import requests 
import json 
import urllib2 
import zipfile 
import io 
import csv 
import os 
from urllib2 import urlopen, URLError, HTTPError

的getURL（）用于创建一个下载链接CSV数据，一个链接将用户输入的数据在这种情况下创建的名称和日期，这将然后创建一个我们可以用一个链接下载数据。链接存储在export_link

def geturl(): 

#getProjectName 
project_name = 'BIMM' 

#getApiToken 
api_token = "API KEY HERE" 

#getStartDate 
start_date = '2017-01-01' 

#getStopDate 
stop_date = '2017-09-01' 

url = "https://api.awrcloud.com/get.php?action=export_ranking&project=%s&token=%s&startDate=%s&stopDate=%s" % (project_name,api_token,start_date,stop_date) 

export_link = requests.get(url).content 

return export_link

dlfile用于实际使用链接获取文件，我们可以操纵和编辑例如删除列和一些数据。

def dlfile(export_link): 
# Open the url 
try: 
    f = urlopen(export_link) 
    print ("downloading " + export_link) 

    # Open our local file for writing 
    with open(os.path.basename(export_link), "wb") as local_file: 
     local_file.write(f.read()) 

#handle errors 
except HTTPError as e: 
    print ("HTTP Error:", e.code, export_link) 
except URLError as e: 
    print ("URL Error:", e.reason, export_link) 

return f

readdata用于进入文件并打开它供我们使用。

def readdata(): 
    with zipfile.ZipFile(io.BytesIO(zipdata)) as z: 
     for f in z.filelist: 
      csvdata = z.read(f) 

#reader = csv.reader(io.StringIO(csvdata.decode())) 



def main(): 
#Do something with the csv data 

    export_link = (geturl()) 


    data = dlfile(export_link) 

    csvdata = data.readdata() 



if __name__ == '__main__': 
    main()

一般我发现代码工作，但独立的斗争，当我试图把它放在一起同步。

来源

2017-10-12 HarAdams

欢迎计算器。我可以建议你阅读这个：https://stackoverflow.com/help/how-to-ask并编辑你的问题到更小的东西。在此之前-1 –

您需要清理并适当地调用您的代码。看起来你从不同的来源复制粘贴，现在你有一些沙拉碗混合不好的代码。

如果任务仅仅是读取和开放远程文件做一些事情吧：

import io 
import zipfile 
import requests 

def get_csv_file(project, api_token, start_date, end_date): 
    url = "https://api.awrcloud.com/get.php" 
    params = {'action': 'export_ranking', 
      'project': project, 
      'token': api_token, 
      'startDate': start_date, 
      'stopDate': end_date} 

    r = requests.get(url, params) 
    r.raise_for_status() 

    return zipfile.ZipFile(io.BytesIO(request.get(r.content).content)) 

def process_csv_file(zip_file): 
    contents = zip_file.extractall() 
    # do stuff with the contents 

if __name__ == '__main__': 
    process_zip_file(get_csv_file('BIMM', 'api-key', '2017-01-01', '2017-09-01'))

来源

2017-10-12 11:10:48

从API下载csv数据

回答

相关问题