将数据转换为熊猫数据帧

Question

有没有办法将我网页上的数据转换成熊猫DataFrame？

刮掉的数据是股票基本面数据例如。 abt: 2.71 6.00 ABT =股票行情，2.71 =价格以预订比和6.00 = PEG比率

我试图声明变量具有空数据帧，并用于.append()功能，但没有运气

即时猜测的数据之前，必须以某种方式转换它可以传递给一个数据框，但我现在知道如何去做。

代码重做与评论的建议，现在数据框出来了空???

import time 
import urllib.request 
import urllib.parse 
import pandas as pd 

sp500short = ['a', 'aa', 'aapl', 'abbv', 'abc', 'abt', 'ace', 'aci', 'acn', 'act', 'adbe', 'adi', 'adm', 'adp'] 
#stock = 'a' 

data = [] 

color_list = ['<span style="color:#aa0000;">', '<span style="color:#008800;">'] 
color_close = '</span>' 


def finvizPBStats(stock): 

    try: 

     sourceCode = urllib.request.urlopen('http://finviz.com/quote.ashx?t='+stock).read() 
     sourceCodeString = sourceCode.decode() 
     pbr = sourceCodeString.split('P/B</td><td width="8%" class="snapshot-td2" align="left"><b>')[1].split('</b></td>')[0] 

     for color in color_list: 
      if color in pbr: 
       pbr = pbr.split(color)[1].split(color_close)[0] 
       pbr = float(pbr) 

    except Exception as e: 
     if Exception: 
      pass 

    return   


def finvizPEGStats(stock): 

    try: 

     sourceCode = urllib.request.urlopen('http://finviz.com/quote.ashx?t='+stock).read() 
     sourceCodeString = sourceCode.decode() 
     PEG = sourceCodeString.split('PEG</td><td width="8%" class="snapshot-td2" align="left"><b>')[1].split('</b></td>')[0] 
     for color in color_list: 
      if color in PEG: 
       PEG = PEG.split(color)[1].split(color_close)[0] 
       PEG = float(PEG) 

    except Exception as e: 
     if Exception: 
      pass 

    return 

for stock in sp500short: 
    pbr = finvizPBStats(stock) 
    PEG = finvizPEGStats(stock) 
    data.append([pbr, PEG]) 

df = pd.DataFrame(index=sp500short, columns=['pbr', 'PEG']) 

print(df)  

Answer 1

首先我会让你的函数返回输出数据：pbr,PEG。那么你可以做这样的事情：

data = [] 
for stock in sp500short: 
    pbr, PEG = finvizKeyStats(stock) 
    data.append([pbr, PEG]) 
    time.sleep(1) 

pd.DataFrame(data, index=sp500short, columns=['pbr', 'PEG']) 

Answer 2

我用BeautifulSoup并得到数据的整个表

import urllib 
from bs4 import BeautifulSoup 
from io import StringIO 
import pandas as pd 

sp500short = ['a', 'aa', 'aapl', 'abbv', 'abc', 'abt', 'ace', 'aci', 'acn', 'act', 'adbe', 'adi', 'adm', 'adp'] 

def get_fin(sym): 
    try: 
     sourceCode = urllib.request.urlopen('http://finviz.com/quote.ashx?t='+sym).read() 
     soup = BeautifulSoup(sourceCode, 'lxml') 
     table = soup.find("table", attrs={"class":"snapshot-table2"}) 
     tdf = pd.read_html(StringIO(table.__repr__())) 
     vals = tdf[0].values.reshape(-1, 2) 
     return pd.Series(vals[:, 1], vals[:, 0]).rename(sym) 
    except: 
     pass 

df = pd.concat([get_fin(sym) for sym in sp500short], axis=1) 

df.head() 

---

重点放在特定比率

机智h比率列表，您可以轻松访问相关数据。

ratios = ['P/E', 'PEG'] 
df.loc[ratios] 

---

注：
我质疑我使用__repr__获得HTML字符串。