说明

1、根据scrapy框架的运行特点，翻页必须与处理数据分开，否则无法执行。

2、确定url地址，构建url地址的请求对象，并将请求交给引擎。

构造请求

scrapy.Request(url,callback)

callback：指定分析函数的名称，表示使用哪个函数来分析请求返回的响应。

实例

scrapy.Request(url,callback=None,method='GET',headers=None,body=None,cookies=None,meta=None,
encoding='utf-8',priority=0,dont_filter=False,errback=None,flags=None)

以上是python scrapy处理翻页的方法，希望对大家有所帮助。更多Python学习指导：python基础教程

本文教程操作环境：windows7系统Python 3.9.1，DELL G3电脑。