说明

1、在scrapy中，start_url由start_requests处理，通过重写这种方法，start_url可携带请求头信息。

2、cookie不能放在scrapy的headers中，在构建请求时有特殊的cookies参数。

可以接收字典形式的cookie。ROBOTS协议和USER__可能需要在settings中设置AGENT。

实例

importscrapy


classgit1Spider(scrapy.Spider):
name='git1'
allowed_domains=['github.com']
start_urls=['https://github.com/GitLqr']

defstart_requests(self):
"""
重写start_requests，携带cookies的Request发送。
start_requests只是一个普通的get请求，不携带自定义的头部信息
"""
url=self.start_urls[0]

temp='_octo=GH1.1.1045146750.1615451260;_device_id=cd8d6491fcb3fd4ba7f5873e978;
#将cookies字符串转换为字典字符串
cookies={data.split('=')[0]:data.split('=')[-1]fordataintemp.split(';')}

yieldscrapy.Request(
url=url,
callback=self.parse,
cookies=cookies
)

defparse(self,response):
print(response.xpath('/html/head/title/text()').extract_first())

以上是python重写start_requests方法，希望对大家有所帮助。更多Python学习指导：python基础教程

本文教程操作环境：windows7系统Python 3.9.1，DELL G3电脑。