在Scrapy中使用子nth

我想使用Python工具Scrapy提取一些html。在Scrapy中使用子nth

我的选择如下：

#navigation > nav > div.js-accordion-menu-wrapper > ul li:nth-child(n+5):nth-child(-n+10) > a::attr(href)

出于某种原因，这是行不通的。具体来说，似乎'nth-child（-n + x）不起作用。就像也许Scrapy不使用它或允许它。

任何人都可以证实这一点吗？

来源

2016-11-17 mjabraham

什么版本cssselect'的'你已经安装了？（这是Scrapy中用于将CSS选择器转换为XPath表达式的包）。 [版本1.0.0]（https://pythonhosted.org/cssselect/#version-1-0-0）对'：nth-child（an + b）'有一个负数a的修正。另外，您是否可以提供带有预期数据的示例HTML，您需要使用CSS进行抓取？ –

Scrapy 1.2.1与cssselect 1.0.0似乎按预期工作。

下面是一个示例scrapy shell会话：

In [1]: selector = scrapy.Selector(text="""<ul> 
    ...:  <li>1</li> 
    ...:  <li>2</li> 
    ...:  <li>3</li> 
    ...:  <li>4</li> 
    ...:  <li>5</li> 
    ...:  <li>6</li> 
    ...:  <li>7</li> 
    ...:  <li>8</li> 
    ...:  <li>9</li> 
    ...:  <li>10</li> 
    ...:  <li>11</li> 
    ...:  <li>12</li> 
    ...: </ul>""") 

In [2]: selector.css('ul li:nth-child(n+5)').extract() 
Out[2]: 
['<li>5</li>', 
'<li>6</li>', 
'<li>7</li>', 
'<li>8</li>', 
'<li>9</li>', 
'<li>10</li>', 
'<li>11</li>', 
'<li>12</li>'] 

In [3]: selector.css('ul li:nth-child(n+5):nth-child(-n+10)').extract() 
Out[3]: 
['<li>5</li>', 
'<li>6</li>', 
'<li>7</li>', 
'<li>8</li>', 
'<li>9</li>', 
'<li>10</li>']

我使用：

$ scrapy version -v 
Scrapy : 1.2.1 
lxml  : 3.6.4.0 
libxml2 : 2.9.4 
Twisted : 16.5.0 
Python : 3.5.0+ (default, Oct 11 2015, 09:05:38) - [GCC 5.2.1 20151010] 
pyOpenSSL : 16.2.0 (OpenSSL 1.0.2g 1 Mar 2016) 
Platform : Linux-4.4.0-47-generic-x86_64-with-Ubuntu-16.04-xenial 

$ pip freeze | grep cssselect 
cssselect==1.0.0

来源

2016-11-17 22:44:16

谢谢，你是对的，这是一个版本问题 – mjabraham

在Scrapy中使用子nth

回答

相关问题