Scrapy - 请求和响应

说明

Scrapy可以使用请求和响应对象抓取网站.请求对象通过系统传递，使用蜘蛛执行请求并在返回响应对象时返回请求.

请求对象

请求对象是生成响应的HTTP请求.它有以下类 :

class scrapy.http.Request(url[, callback, method = 'GET', headers, body, cookies, meta,   encoding = 'utf-8', priority = 0, dont_filter = False, errback])

下表显示参数Request对象 :

将附加数据传递给回调函数

当请求的回调函数被调用时那里下载赞助作为其第一个参数.

例如 :

def parse_page1(self, response):    return scrapy.Request("http://www.something.com/some_page.html",       callback = self.parse_page2)  def parse_page2(self, response):    self.logger.info("%s page visited", response.url)

您可以使用请求. meta 属性，如果要将参数传递给可调用函数并在第二个回调中接收这些参数，如以下示例所示 :

def parse_page1(self, response):    item = DemoItem()    item['foremost_link'] = response.url    request = scrapy.Request("http://www.something.com/some_page.html",       callback = self.parse_page2)    request.meta['item'] = item    return request  def parse_page2(self, response):    item = response.meta['item']    item['other_link'] = response.url    return item

使用errbacks来捕获请求处理中的异常

当引发处理请求时发生异常时，errback是一个可调用的函数.

以下示例演示了这一点 :

import scrapy  from scrapy.spidermiddlewares.httperror import HttpError from twisted.internet.error import DNSLookupError from twisted.internet.error import TimeoutError, TCPTimedOutError  class DemoSpider(scrapy.Spider):    name = "demo"    start_urls = [       "http://www.httpbin.org/",              # HTTP 200 expected       "http://www.httpbin.org/status/404",    # Webpage not found        "http://www.httpbin.org/status/500",    # Internal server error       "http://www.httpbin.org:12345/",        # timeout expected       "http://www.httphttpbinbin.org/",       # DNS error expected    ]        def start_requests(self):       for u in self.start_urls:          yield scrapy.Request(u, callback = self.parse_httpbin,          errback = self.errback_httpbin,          dont_filter=True)        def parse_httpbin(self, response):       self.logger.info('Recieved response from {}'.format(response.url))       # ...        def errback_httpbin(self, failure):       # logs failures       self.logger.error(repr(failure))              if failure.check(HttpError):          response = failure.value.response          self.logger.error("HttpError occurred on %s", response.url)              elif failure.check(DNSLookupError):          request = failure.request          self.logger.error("DNSLookupError occurred on %s", request.url)       elif failure.check(TimeoutError, TCPTimedOutError):          request = failure.request          self.logger.error("TimeoutError occurred on %s", request.url)

Request.meta特殊键

request.meta特殊键是由Scrapy识别的特殊元键列表.

下表显示了Request.meta : 的一些键;

请求子类

您可以通过继承请求类来实现自己的自定义功能.内置请求子类如下 :

FormRequest对象

FormRequest类通过扩展基本请求来处理HTML表单.它有以下类 :

class scrapy.http.FormRequest(url[,formdata, callback, method = 'GET', headers, body,    cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = False, errback])

以下是参数 :

formdata : 它是一个包含HTML表单数据的字典，分配给请求正文.

注意 : 剩余参数与请求类相同，并在请求对象部分中进行了解释.

FormRequest 对象支持以下类方法除了请求方法 :

class scrapy.http.FormRequest(url[,formdata, callback, method = 'GET', headers, body,    cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = False, errback])

下表显示了上述类的参数和减号;

示例

以下是一些请求用法示例 :

使用FormRequest通过HTTP POST发送数据

以下代码演示了如何返回 FormRequest 当你想要在你的蜘蛛中复制HTML表单POST时的对象 :

return [FormRequest(url = "http://www.something.com/post/action",    formdata = {'firstname': 'John', 'lastname': 'dave'},    callback = self.after_post)]

使用FormRequest.from_response()模拟用户登录

通常，网站使用元素来提供预先填充的表单字段.

当您需要这些字段时，可以使用 FormRequest.form_response()方法在抓取时自动填充.

以下示例演示了这一点.

import scrapy  class DemoSpider(scrapy.Spider):    name = 'demo'    start_urls = ['http://www.something.com/users/login.php']     def parse(self, response):       return scrapy.FormRequest.from_response(          response,          formdata = {'username': 'admin', 'password': 'confidential'},          callback = self.after_login       )        def after_login(self, response):       if "authentication failed" in response.body:          self.logger.error("Login failed")          return        # You can continue scraping here

响应对象

这是一个对象，表示HTTP响应被提供给要处理的蜘蛛.它有以下类 :

class scrapy.http.Response(url[, status = 200, headers, body, flags])

下表显示了Response对象的参数 :

响应子类

您可以通过继承响应类来实现自己的自定义功能.内置的响应子类如下 :

TextResponse对象

TextResponse对象用于二进制数据，如作为图像，声音等，它具有编码基本Response类的能力.它有以下类 :

class scrapy.http.TextResponse(url[, encoding[,status = 200, headers, body, flags]])

以下是参数 :

编码 : 它是一个带编码的字符串，用于编码响应.

注意 : 剩余参数与响应类相同，并在响应对象部分中进行了解释.

下表显示了TextResponse对象支持的属性以及响应方法 :

下表显示 TextResponse支持的方法除了响应方法之外的对象 :

HtmlResponse对象

这是一个通过查看HTML的 meta httpequiv 属性来支持编码和自动发现的对象.其参数与响应类相同，并在"响应对象"部分中进行了说明.它有以下类 :

class scrapy.http.HtmlResponse(url [，status = 200，headers，body，flags])

XmlResponse对象

这是一个通过查看XML行来支持编码和自动发现的对象.其参数与响应类相同，并在"响应对象"部分中进行了说明.它有以下类 :

class scrapy.http.XmlResponse(url [，status = 200，headers，body，flags])