美丽的汤，html表解析

Question

我目前有一个问题试图解析一个表到一个数组。

我有一个简单的表（HERE），我需要用BS4解析并将单元格内容放入数组中。这里的难点在于单元格不包含文本，而是包含具有以下标题的图像： “确认”或“网站” - 这只是用户权利的内容。

如果你看一下上面的小提琴[其中包含的复选框我跳过一行一个，那些我可以毫无问题摘录]，我需要做的是分析它以这样的方式所产生的阵列变成：

Array1[0] = User1,Confirm,Confirm,Site,Confirm 
Array1[1] = User2,Confirm,Confirm,Confirm,Confirm 
Array1[2] = User3,Confirm,Confirm,Confirm,Confirm 
Array1[3] = User4,Confirm,Site,Site,Confirm 

然后我可以按我的意愿去做。 另一个复杂因素是，有时行数会有所不同，所以脚本应该能够适应这一点，并递归地从表中创建数组。

目前StackOverflow是我唯一的希望..我花了最后10个小时来做​​这件事，自己几乎没有成功，坦率地说我失去了希望。最近我得到的东西是提取封闭标签，但不能进一步解析一些奇怪的原因，也许这是bs4的嵌套限制？任何人都可以看看，看看他们是否能找到一种方法来做到这一点？或者至少解释如何到达那里？

var解释： rightml - 汤的表。

allusers = [] 
rows = rightml.findAll('tr') 
for tr in rows: 
    cols = tr.findAll('td') 
    for td in cols: 
     if (td.find(title="Group")) or (td.find(title="User")): 
      text = ''.join(td.text.strip()) 
      allusers.append(text) 
print allusers 

gifrights = [] 

rows7 = rightml.findAll('td') 
#print rows7 
for tr7 in rows: 
    cols7 = tr7.findAll('img') 
    for td7 in cols7: 
     if (td7.find(title="Confirm")) or (td7.find(title="Site")): 
      text = ''.join(td7.text.strip()) 
      text2 = text.split(' ') 
      print text2 
      gifrights.append(text2) 

我可能是遥远，此代码..但我把它醇”学院尝试。

Answer 1

会是这样的工作：

rows = soup.find('tbody').findAll('tr') 

for row in rows: 
    cells = row.findAll('td') 

    output = [] 

    for i, cell in enumerate(cells): 
     if i == 0: 
      output.append(cell.text.strip()) 
     elif cell.find('img'): 
      output.append(cell.find('img')['title']) 
     elif cell.find('input'): 
      output.append(cell.find('input')['value']) 
    print output 

此输出以下：

[u'Logged-in users', u'True', u'True', u'True', u'True'] 
[u'User 1', u'Confirm', u'Confirm', u'Site', u'Confirm'] 
[u'User 2', u'Confirm', u'Confirm', u'Confirm', u'Confirm'] 
[u'User 3', u'Confirm', u'Confirm', u'Confirm', u'Confirm'] 
[u'User 4', u'Confirm', u'Site', u'Site', u'Confirm'] 

Answer 2

我觉得它的速度更快了行这样使用列表理解。

rows = soup.find('tbody').findAll('tr') 

for i in rows[1:]: # the first row is thrown out 
    [j['title'] for j in i.findAll('img')] 

，让你

['User', 'Confirm', 'Confirm', 'Site', 'Confirm'] 
['User', 'Confirm', 'Confirm', 'Confirm', 'Confirm'] 
['User', 'Confirm', 'Confirm', 'Confirm', 'Confirm'] 
['User', 'Confirm', 'Site', 'Site', 'Confirm'] 

您可以使用嵌套列表理解切出更加步骤：

# superpythonic 
[[j['title'] for j in i.findAll('img')] for i in rows[1:]] 

# all together now, but not so pythonic 
[[j['title'] for j in i.findAll('img')] for i in soup.find('tbody').findAll('tr')[1:]] 

你并不真的需要一个用户＃，因为用户＃是索引号+1。

[[j['title'] for j in i.findAll('img') if j['title'] != 'User'] for i in rows[1:]] 

但是，如果你有-must-一个...

for i in xrange(len(users)): 
    users[i].append("User " + str(i+1)) 

但是，如果你坚持这样做，我会用一个namedtuple作为数据结构，而不是一个列表。namedtuple

from collections import namedtuple 
# make these actual non-obfuscated names, not column numbers 
User = namedtuple('User', ('num col_1 col_2 col_3 col_4') 

然后，一旦你有namedtuple，比如说，用户1的实例作为user，你可以...

>>> user.num 
... 1 
>>> user.col_1 
... 'Confirm' 
>>> user.col_2 
... 'Confirm' 
>>> user.col_3 
... 'Site' 
>>> user.col_4 
... 'Confirm'