爬虫：Scrapy5 - 选择器Selectors

当抓取网页时，常见的任务是从HTML源码中提取数据。现有的一些库可以达到这个目的：

BeautifulSoup
lxml

Scrapy 提取数据有自己的一套机制。它们被称作选择器(seletors)，因为他们通过特定的 XPath 或者 CSS 表达式来“选择” HTML 文件中的某个部分。

构造选择器

Scrapy selector 是以文字（Text）或 TextResponse 构造的 Selector。其根据输入类型自动选择最优的分析方法（XML vs HTML）：

>>> from scrapy.selector import Selector
>>> from scrapy.http import HtmlResponse

以文字构造：

>>> body = ‘<html><body><span>good</span></body></html>‘
>>> Selector(text=body).xpath(‘//span/text()‘).extract()
[u‘good‘]

以 response 构造：

>>> response = HtmlResponse(url=‘http://example.com‘, body=body)
>>> Selector(response=response).xpath(‘//span/text()‘).extract()
[u‘good‘]

为了方便起见，response 对象以 .selector 属性提供了一个 selector：

>>> response.selector.xpath(‘//span/text()‘).extract()
[u‘good‘]

使用选择器

使用 Scrapy Shell 和 Scrapy 文档服务器的一个样例页面，来解释如何使用选择器：

http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

<html>
 <head>
  <base href=‘http://example.com/‘ />
  <title>Example website</title>
 </head>
 <body>
  <div id=‘images‘>
   <a href=‘image1.html‘>Name: My image 1 <br /><img src=‘image1_thumb.jpg‘ /></a>
   <a href=‘image2.html‘>Name: My image 2 <br /><img src=‘image2_thumb.jpg‘ /></a>
   <a href=‘image3.html‘>Name: My image 3 <br /><img src=‘image3_thumb.jpg‘ /></a>
   <a href=‘image4.html‘>Name: My image 4 <br /><img src=‘image4_thumb.jpg‘ /></a>
   <a href=‘image5.html‘>Name: My image 5 <br /><img src=‘image5_thumb.jpg‘ /></a>
  </div>
 </body>
</html>

首先打开 Shell：

scrapy shell http://doc.scrapy.org/en/latest/_static/selectors-sample1.html

当 shell 载入后，将获得名为 response 的 shell 变量，其为响应的 response，并且在其 response.selector 属性上绑定了一个 selector。

因为处理的是 HTML，选择器自动使用 HTML 语法分析。

那么，通过查看 HTML code 该页面的源码，可以构建一个 XPath 来选择 title 标签内的文字：

>>> response.selector.xpath(‘//title/text()‘)
[<Selector (text) xpath=//title/text()>]

由于在 response 中使用 XPath、CSS 查询十分普遍，因此，Scrapy 提供了两个实用的快捷方式：

response.xpath()

response.css()

>>> response.xpath(‘//title/text()‘)
[<Selector (text) xpath=//title/text()>]
>>> response.css(‘title::text‘)
[<Selector (text) xpath=//title/text()>]

.xpath() 以及 .css() 方法返回一个类 SelectList 的实例，它是一个新选择器的列表。这个 API 可以用来快速的提取嵌套数据。

为了提取真实的原文数据，需要调用 .extract() 方法如下：

>>> response.xpath(‘//title/text()‘).extract()
[u‘Example website‘]

CSS 选择器可以使用 CSS3 伪元素（pseudo-elements）来选择文字或者属性节点：

>>> response.css(‘title::text‘).extract()
[u‘Example website‘]

获取得到根 URL（base URL）和一些图片链接：

>>> response.xpath(‘//base/@href‘).extract()
[u‘http://example.com/‘]

>>> response.css(‘base::attr(href)‘).extract()
[u‘http://example.com/‘]

>>> response.xpath(‘//a[contains(@href, "image")]/@href‘).extract()
[u‘image1.html‘,
 u‘image2.html‘,
 u‘image3.html‘,
 u‘image4.html‘,
 u‘image5.html‘]

>>> response.css(‘a[href*=image]::attr(href)‘).extract()
[u‘image1.html‘,
 u‘image2.html‘,
 u‘image3.html‘,
 u‘image4.html‘,
 u‘image5.html‘]

>>> response.xpath(‘//a[contains(@href, "image")]/img/@src‘).extract()
[u‘image1_thumb.jpg‘,
 u‘image2_thumb.jpg‘,
 u‘image3_thumb.jpg‘,
 u‘image4_thumb.jpg‘,
 u‘image5_thumb.jpg‘]

>>> response.css(‘a[href*=image] img::attr(src)‘).extract()
[u‘image1_thumb.jpg‘,
 u‘image2_thumb.jpg‘,
 u‘image3_thumb.jpg‘,
 u‘image4_thumb.jpg‘,
 u‘image5_thumb.jpg‘]

嵌套选择器

选择器方法（.xpath() or css()）返回相同类型的选择器列表，因此也可以对这些选择器调用选择器方法：

>>> links = response.xpath(‘//a[contains(@href, "image")]‘)
>>> links.extract()
[u‘<a href="image1.html">Name: My image 1 <br><img src="image1_thumb.jpg"></a>‘,
 u‘<a href="image2.html">Name: My image 2 <br><img src="image2_thumb.jpg"></a>‘,
 u‘<a href="image3.html">Name: My image 3 <br><img src="image3_thumb.jpg"></a>‘,
 u‘<a href="image4.html">Name: My image 4 <br><img src="image4_thumb.jpg"></a>‘,
 u‘<a href="image5.html">Name: My image 5 <br><img src="image5_thumb.jpg"></a>‘]

>>> for index, link in enumerate(links):
        args = (index, link.xpath(‘@href‘).extract(), link.xpath(‘img/@src‘).extract())
        print ‘Link number %d points to url %s and image %s‘ % args

Link number 0 points to url [u‘image1.html‘] and image [u‘image1_thumb.jpg‘]
Link number 1 points to url [u‘image2.html‘] and image [u‘image2_thumb.jpg‘]
Link number 2 points to url [u‘image3.html‘] and image [u‘image3_thumb.jpg‘]
Link number 3 points to url [u‘image4.html‘] and image [u‘image4_thumb.jpg‘]
Link number 4 points to url [u‘image5.html‘] and image [u‘image5_thumb.jpg‘]

结合正则表达式使用选择器

Selector 也有一个 .re() 方法，用来通过正则表达式来提取数据。然而，不同于使用 .xpath() 或者 .css() 方法，.re() 方法返回 Unicode 字符串的列表。所以无法构造嵌套式的 .re() 调用。

>>> response.xpath(‘//a[contains(@href, "image")]/text()‘).re(r‘Name:\s*(.*)‘)
[u‘My image 1‘,
 u‘My image 2‘,
 u‘My image 3‘,
 u‘My image 4‘,
 u‘My image 5‘]

使用相对 XPaths

如果使用嵌套的选择器，并且使用起始为 / 的 XPath, 那么该 XPath 将对文档使用绝对路径，而且对于你调用的 Selector 不是相对路径。

比如，假设要提取 <div> 元素中所有的 <p> 元素。首先，先得到所有的 <div> 元素：

>>> divs = response.xpath(‘//div‘)

开始时，你也许会尝试使用下面的错误的方法，因为它其实是从整篇文档中，而不是仅仅从那些 <div> 元素内部提取所有的 <p> 元素：

>>> for p in divs.xpath(‘//p‘):  # this is wrong - gets all <p> from the whole document
...     print p.extract()

下面是比较适合的处理方法（注意 .//p XPath的点前缀）：

>>> for p in divs.xpath(‘.//p‘):  # extracts all <p> inside
...     print p.extract()

另一种常见的情况是提取所有直系的 <p> 元素：

>>> for p in divs.xpath(‘p‘):
...     print p.extract()

使用 EXSLT 扩展

因建于 lxml 之上，Scrapy 选择器也支持一些 EXSLT 扩展，可以在 XPath 表达式中使用这些预先指定的命名空间：

前缀	命名空间	用途
re	http://exslt.org/regular-expressions	正则表达式
set	http://exslt.org/sets	集合操作

正则表达式

例如在 XPath 的 starts-with() 或 contains() 无法满足需求时，test() 函数可以非常有用。

例如在列表中选择有 “class” 元素且结尾为一个数字的链接：

>>> from scrapy import Selector
>>> doc = """
... <div>
...     <ul>
...         <li class="item-0"><a href="link1.html">first item</a></li>
...         <li class="item-1"><a href="link2.html">second item</a></li>
...         <li class="item-inactive"><a href="link3.html">third item</a></li>
...         <li class="item-1"><a href="link4.html">fourth item</a></li>
...         <li class="item-0"><a href="link5.html">fifth item</a></li>
...     </ul>
... </div>
... """
>>> sel = Selector(text=doc, type="html")
>>> sel.xpath(‘//li//@href‘).extract()
[u‘link1.html‘, u‘link2.html‘, u‘link3.html‘, u‘link4.html‘, u‘link5.html‘]
>>> sel.xpath(‘//li[re:test(@class, "item-\d$")]//@href‘).extract()
[u‘link1.html‘, u‘link2.html‘, u‘link4.html‘, u‘link5.html‘]
>>>

警告：C 语言库 libxslt 不支持 EXSLT 正则表达式，因此 lxml 在实现时使用了 Python re 模块的钩子。因此，在 XPath 表达式中使用 regexp 函数可能会牺牲少量的性能。

集合操作

集合操作可以方便地用于在提取文字元素前从文档树种去除一些部分。

例如使用 itemscopes 组合对应的 itemprops 来提取微数据（来自 http://schema.org/Product 的样本内容）

>>> doc = """
... <div itemscope itemtype="http://schema.org/Product">
...   <span itemprop="name">Kenmore White 17" Microwave</span>
...   <img src="kenmore-microwave-17in.jpg" alt=‘Kenmore 17" Microwave‘ />
...   <div itemprop="aggregateRating"
...     itemscope itemtype="http://schema.org/AggregateRating">
...    Rated <span itemprop="ratingValue">3.5</span>/5
...    based on <span itemprop="reviewCount">11</span> customer reviews
...   </div>
...
...   <div itemprop="offers" itemscope itemtype="http://schema.org/Offer">
...     <span itemprop="price">$55.00</span>
...     <link itemprop="availability" href="http://schema.org/InStock" />In stock
...   </div>
...
...   Product description:
...   <span itemprop="description">0.7 cubic feet countertop microwave.
...   Has six preset cooking categories and convenience features like
...   Add-A-Minute and Child Lock.</span>
...
...   Customer reviews:
...
...   <div itemprop="review" itemscope itemtype="http://schema.org/Review">
...     <span itemprop="name">Not a happy camper</span> -
...     by <span itemprop="author">Ellie</span>,
...     <meta itemprop="datePublished" content="2011-04-01">April 1, 2011
...     <div itemprop="reviewRating" itemscope itemtype="http://schema.org/Rating">
...       <meta itemprop="worstRating" content = "1">
...       <span itemprop="ratingValue">1</span>/
...       <span itemprop="bestRating">5</span>stars
...     </div>
...     <span itemprop="description">The lamp burned out and now I have to replace
...     it. </span>
...   </div>
...
...   <div itemprop="review" itemscope itemtype="http://schema.org/Review">
...     <span itemprop="name">Value purchase</span> -
...     by <span itemprop="author">Lucas</span>,
...     <meta itemprop="datePublished" content="2011-03-25">March 25, 2011
...     <div itemprop="reviewRating" itemscope itemtype="http://schema.org/Rating">
...       <meta itemprop="worstRating" content = "1"/>
...       <span itemprop="ratingValue">4</span>/
...       <span itemprop="bestRating">5</span>stars
...     </div>
...     <span itemprop="description">Great microwave for the price. It is small and
...     fits in my apartment.</span>
...   </div>
...   ...
... </div>
... """
>>>
>>> for scope in sel.xpath(‘//div[@itemscope]‘):
...     print "current scope:", scope.xpath(‘@itemtype‘).extract()
...     props = scope.xpath(‘‘‘
...                 set:difference(./descendant::*/@itemprop,
...                                .//*[@itemscope]/*/@itemprop)‘‘‘)
...     print "    properties:", props.extract()
...     print
...

current scope: [u‘http://schema.org/Product‘]
    properties: [u‘name‘, u‘aggregateRating‘, u‘offers‘, u‘description‘, u‘review‘, u‘review‘]

current scope: [u‘http://schema.org/AggregateRating‘]
    properties: [u‘ratingValue‘, u‘reviewCount‘]

current scope: [u‘http://schema.org/Offer‘]
    properties: [u‘price‘, u‘availability‘]

current scope: [u‘http://schema.org/Review‘]
    properties: [u‘name‘, u‘author‘, u‘datePublished‘, u‘reviewRating‘, u‘description‘]

current scope: [u‘http://schema.org/Rating‘]
    properties: [u‘worstRating‘, u‘ratingValue‘, u‘bestRating‘]

current scope: [u‘http://schema.org/Review‘]
    properties: [u‘name‘, u‘author‘, u‘datePublished‘, u‘reviewRating‘, u‘description‘]

current scope: [u‘http://schema.org/Rating‘]
    properties: [u‘worstRating‘, u‘ratingValue‘, u‘bestRating‘]

>>>

在这里，首先在 itemscope 元素上迭代，对于其中的每一个元素，我们寻找所有的 itemprops 元素，并排除那些身在另一个 itemscope 内的元素。

内建选择器的参考

class scrapy.selector.Selector(response=None, text=None, type=None)

Selector 的实例时对选择某些内容响应的封装。

response 是 HTMLResponse 或 XMLResponse 的一个对象，将被用来选择和提取数据。

text 是在 response 不可用时的一个 unicode 字符串或 utf-8 编码的文字。将 text 和 response 一起使用时未定义行为。

type 定义了选择器类型，可以是 html， xml 或 None（默认）。

如果 type 是 None，选择器会根据 response 类型（参见下面）自动选择最佳类型，或者在和 text 一起使用时，默认为 html。

如果 type 是None，并传递了一个 response，选择器类型将从 response 类型中推导如下：

"html" for HtmlResponse type
"xml" for XmlResponse type
"html" for anything else

其他情况下，如果设定了 type ，选择器类型将被强制设定，而不进行检测。

xpath(query)

寻找可以匹配 xpath query 的节点，并返回一个 SelectorList 的一个实例结果，单一化其所有元素。列表元素也实现了 Selector 的接口。

query 是包含 XPath 查询请求的字符串。

方便起见该方法也可以通过 response.xpath() 调用。

css(query)

css(query)

应用给定的 CSS 选择器，返回 SelectorList 的一个实例。

query是一个包含 CSS 选择器的字符串。

在后台，通过 cssselect 库和运行 .xpath() 方法，CSS 查询会被转换为 XPath 查询。

方便起见该方法也可以通过 response.css() 调用。

extract()

串行化并将匹配到的节点返回一个 unicode 字符串列表。结尾是编码内容的百分比。

re(regex)

应用给定的 regex，并返回匹配到的 unicode 字符串列表。

regex可以是一个已编译的正则表达式，也可以是一个将被 re.compile(regex) 编译为正则表达式的字符串。

register_namespace(prefix, uri)

注册给定的命名空间，其将在 Selector 中使用。不注册命名空间，你将无法从非标准命名空间中选择或提取数据。

remove_namespaces()

移除所有的命名空间，允许使用少量的命名空间 xpaths 遍历文档。参加下面的例子。

nonzero()

如果选择了任意的真实文档，将返回 True ，否则返回 False 。也就是说， Selector 的布尔值是通过它选择的内容确定的。

SelectorList 对象

class scrapy.selector.SelectorList

SelectorList 类是内建 list 类的子类，提供了一些额外的方法。

xpath(query)

对列表中的每个元素调用.xpath()方法，返回结果为另一个单一化的 SelectorList。

query 和 Selector.xpath() 中的参数相同。

css(query)

对列表中的各个元素调用.css() 方法，返回结果为另一个单一化的 SelectorList。

query 和 Selector.css() 中的参数相同。

extract()

对列表中的各个元素调用.extract()方法，返回结果为单一化的 unicode 字符串列表。

re()

对列表中的各个元素调用 .re() 方法，返回结果为单一化的 unicode 字符串列表。

nonzero()

列表非空则返回 True，否则返回 False。

在 HTML 响应上的选择器样例

这里是一些 Selector 的样例，用来说明一些概念。在所有的例子中，假设已经有一个通过 HtmlResponse 对象实例化的 Selector，如下：

sel = Selector(html_response)

#从 HTML 响应主体中提取所有的<h1>元素，返回:class:Selector 对象(即 SelectorList 的一个对象)的列表:

sel.xpath("//h1")

#从 HTML 响应主体上提取所有<h1>元素的文字，返回一个 unicode 字符串的列表:

sel.xpath("//h1").extract()         # this includes the h1 tag
sel.xpath("//h1/text()").extract()  # this excludes the h1 tag

#在所有<p>标签上迭代，打印它们的类属性:

for node in sel.xpath("//p"):
    print node.xpath("@class").extract()

在 XML 响应上的选择器样例

这里是一些样例，用来说明一些概念。在两个例子中，我们假设已经有一个通过 XmlResponse 对象实例化的 Selector ，如下:

sel = Selector(xml_response)

#从 XML 响应主体中选择所有的 product 元素，返回 Selector 对象(即 SelectorList 对象)的列表:

sel.xpath("//product")

#从 Google Base XML feed 中提取所有的价钱，这需要注册一个命名空间:

sel.register_namespace("g", "http://base.google.com/ns/1.0")
sel.xpath("//g:price").extract()

移除命名空间

在处理爬虫项目时，完全去掉命名空间而仅仅处理元素名字，写更多简单/实用的 XPath 会方便很多。你可以为此实用 Selector.remove_namespaces() 方法。

以 Github 博客的 atom 订阅来解释这个情况：

$ scrapy shell https://github.com/blog.atom

一旦进入 shell，我们可以尝试选择所有的 <link> 对象，可以看到没有结果（因为 Atom XML 命名空间混淆了这些节点）：

>>> response.xpath("//link")
[]

但一旦调用 Selector.remove_namespaces() 方法，所有节点都可以直接通过他们的名字来访问：

>>> response.selector.remove_namespaces()
>>> response.xpath("//link")
[<Selector xpath=‘//link‘ data=u‘<link xmlns="http://www.w3.org/2005/Atom‘>,
 <Selector xpath=‘//link‘ data=u‘<link xmlns="http://www.w3.org/2005/Atom‘>,
 ...

如果你对为什么命名空间移除操作并不总是被调用，而需要手动调用有疑惑。这是因为存在如下两个原因，按照相关顺序如下：

移除命名空间需要迭代并修改文件的所有节点，而这对于 Scrapy 爬取的所有文档操作需要一定的性能消耗
会存在这样的情况，确实需要使用命名空间，但有些元素的名字与命名空间冲突。尽管这些情况非常少见。

时间： 2024-03-21 01:22:19

爬虫：Scrapy5 - 选择器Selectors的相关文章

Python网络爬虫四大选择器（正则表达式、BS4、Xpath、CSS）总结

对于动漫爱好者来说,海贼王.火影.死神三大动漫神作你肯定肯定不陌生了.小编身边很多的同事仍然深爱着这些经典神作,可见"中毒"至深.利用Python大法带大家分析一下这些神作,看看这些神作到底在讲些神马. 人生苦短,我用Python.利用Python网络爬虫爬取了豆瓣网,将网站上关于这三部动漫的评论全部抓取下来,之后通过Python的第三方库jieba分词进行词频统计和分析,最后通过matplotlib库和wordcloud库将关键词制作成词云进行可视化展示. 词云是神魔?"词

Python爬虫框架Scrapy 学习笔记 8----Spider

什么是爬虫? 从逻辑角度讲,爬虫对应一个树.树枝是网页,树叶是感兴趣的信息. 当我们从一个URL出发查找感兴趣的信息时,当前URL返回的内容可能包含我们感兴趣的信息,也可能包含另一个可能包含我们感兴趣的信息的URL.一个爬虫对应一次信息搜索,信息搜索过程会建立起一棵树. scrapy.Spider这个类提供了接口,允许我们设计整个信息搜索的流程. 给spider传递运行时所需的参数.比如URL ?号后面的参数信息.这些信息可以选择使用crawl -a 命令传递 2. Spider循环对spid

Scrapy系列教程（3）------Spider（爬虫核心，定义链接关系和网页信息抽取）

Spiders Spider类定义了怎样爬取某个(或某些)站点.包含了爬取的动作(比如:是否跟进链接)以及怎样从网页的内容中提取结构化数据(爬取item). 换句话说.Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方. 对spider来说.爬取的循环类似下文: 以初始的URL初始化Request,并设置回调函数. 当该request完成下载并返回时,将生成response,并作为參数传给该回调函数. spider中初始的request是通过调用 start_requests

python3 分布式爬虫

背景部门(东方IC.图虫)业务驱动,需要搜集大量图片资源,做数据分析,以及正版图片维权.前期主要用node做爬虫(业务比较简单,对node比较熟悉).随着业务需求的变化,大规模爬虫遇到各种问题.python爬虫具有先天优势,社区资源比较齐全,各种框架也完美支持.爬虫性能也得到极大提升.本次分享从基础知识入手,涉及python 的两大爬虫框架pyspider.scrapy,并基于scrapy.scrapy-redis 做了分布式爬虫的介绍(直接粘贴的ppt截图)会涉及 redis.mongodb

Python3分布式爬虫（scrap+redis）基础知识和实战详解

背景随着业务需求的变化,大规模爬虫遇到各种问题.python爬虫具有先天优势,社区资源比较齐全,各种框架也完美支持.爬虫性能也得到极大提升.本次分享从基础知识入手,涉及python 的两大爬虫框架pyspider.scrapy,并基于scrapy.scrapy-redis 做了分布式爬虫的介绍(直接粘贴的ppt截图)会涉及 redis.mongodb等相关知识. 一.前沿 1.1 爬虫是什么? 网络爬虫(又被称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动的抓取万维网信息的程序或者脚本.

【Scrapy】Spiders爬虫

Spider类定义了如何爬取某个网站.包括爬取的动作以及如何从网页的内容中提取结构化数据. Spider就是定义爬取的动作及分析某个网页的地方. 爬取的循环: ①以初始的URL初始化Request,并设置回调函数.当该request下载完毕并返回时,将生成response,并作为参数传给该回调函数. spider中初始的request是通过调用start_requests()来获取的.start_requests()读取start_urls中的URL,并以parse为回调函数生成Request.

jsoup Cookbook(中文版)--爬虫（java）

转载:http://www.open-open.com/jsoup/ 目录: 入门解析和遍历一个html文档输入解析一个html字符串解析一个body片断根据一个url加载Document对象根据一个文件加载Document对象数据抽取使用dom方法来遍历一个Document对象使用选择器语法来查找元素从元素集合抽取属性.文本和html内容 URL处理程序示例:获取所有链接数据修改设置属性值设置元素的html内容设置元素的文本内容 html清理消除不受信任的htm

【Jsoup的学习礼记】使用选择器语法来查找元素

问题你想使用类似于CSS或jQuery的语法来查找和操作元素. 方法可以使用Element.select(String selector) 和 Elements.select(String selector) 方法实现: File input = new File("/tmp/input.html"); Document doc = Jsoup.parse(input, "UTF-8", "http://example.com/"); Ele

爬虫：Scrapy5 - 选择器Selectors

构造选择器

使用选择器

嵌套选择器

结合正则表达式使用选择器

使用相对 XPaths

使用 EXSLT 扩展

正则表达式

集合操作

内建选择器的参考

class scrapy.selector.Selector(response=None, text=None, type=None)

css(query)

extract()

re(regex)

register_namespace(prefix, uri)

remove_namespaces()

__nonzero__()

SelectorList 对象

class scrapy.selector.SelectorList

xpath(query)

css(query)

extract()

re()

__nonzero__()

在 HTML 响应上的选择器样例

在 XML 响应上的选择器样例

移除命名空间

爬虫：Scrapy5 - 选择器Selectors的相关文章

nonzero()

nonzero()