Xpath的提取日期

Question

UPDATE：关于我的第二个问题（如何将字符串转换为日期格式在MySQL），我找到了一种方法，并希望分享它：

1）保存该“字符串日期”的数据作为VARCHAR（不要使用TEXT）

2）当表示PHP或其他方式的MySQL数据，使用STR_TO_DATE（字符串日期栏，日期格式的功能），如以下示例：

$sql = "SELECT * FROM yourtablename ORDER BY str_to_date(string-date-column, '%d %M %Y')"; 

---

我正在使用scrapy收集数据，写入数据库。从一个网站，每个项目的发布日期被列为如下：

<p> #This is the last <p> within each <div> 
<br> 
[15 May 2015, #9789] 
<br> 
</p> 

所以日期始终落后“[”和“，”之前。我用下面的XPath代码以提取：

sel.xpath("p[last()]/text()[contains(., '[')]").extract() 

但我会得到整条生产线：

[15 May 2015, #9789] 

那么，如何让“2015年5月15日”的只有一部分？如果可以这样做，如何将抓取的字符串（2015年5月15日）转换为真正的DATE数据，因此可用于排序？谢谢一堆！

Answer 1

更 “scrapic” 方法将涉及使用在XPath表达式built-in regular expression support和/或.re()。

这是同时适用：

In [1]: response.xpath("p[last()]/text()[re:test(., '\[\d+ \w+ \d{4}\, #\d+\]')]").re(r"\d+ \w+ \d{4}") 
Out[1]: [u'15 May 2015'] 

或者，这就是当你使用.re()提取日期定位元素像之前：

In [2]: response.xpath("p[last()]/text()[contains(., '[')]").re(r"\d+ \w+ \d{4}") 
Out[2]: [u'15 May 2015'] 

Answer 2

关于第一个问题，假设有最大的一个日期的时间，你可以使用XPath substring-after()和substring-before()功能的组合来获取文本节点的15 May 2015部分：

substring-before(substring-after(p[last()]/text()[contains(., '[')], '['), ',') 

关于第二个问题，你可以使用datetime.strptime()字符串转换为datetime：

import datetime 

result = datetime.datetime.strptime("15 May 2015", "%d %b %Y") 
print(result) 
print(type(result)) 

输出：

2015-05-15 00:00:00 
<type 'datetime.datetime'>