解读Scrapy回调函数callback传递参数的方式
更新时间：2022年12月19日 10:32:01 作者：bladestone
这篇文章主要介绍了解读Scrapy回调函数callback传递参数的方式，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教
Scrapy回调函数
回调方法示例：
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)
callback对应的是page_query_school()即为回调的方法。
传递参数方式
如何向回调方法中传递参数呢？
在scrapy1.7之后，是基于cb_kwargs方式传递dict类型，可以在回调方式中直接访问对应的参数值。
add_params = {}
add_params['province_code'] = province_code
add_params['province_name'] = name
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=add_params)
def page_query_schools(self, response, province_code, province_name):
# logic definition 从上述方法中可知, add_params初始化为dict, 放入province_code/province_name两个值。
在page_query_schools()方法中，其中的key值直接以参数传入方法： province_code/province_name.
注意事项
错误的用法：
add_params = {}
add_params['data_item']['province_code'] = province_code
add_params['data_item']['province_name'] = name
yield Request(url=self.base_url + 'QueryInfo', headers=self.request_headers, method="POST", body=json.dumps(request_params), callback=self.page_query_schools, cb_kwargs=dict(data_hsh=add_params))
def page_query_schools(self, response, data_hsh):
# logic definition 这种用法的错误是：data_hsh传递是引用，在循环访问中，data_hsh是指向相同的结果值，造成变量的引用有误，与预期不符。
正确的做法：cb_kwargs传递直接变量属性值，不要使用复杂的数据结构，可以做到不同的属性值
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。
相关文章
这篇文章主要是带着大家自制一款开心消消乐，还原度超高哦~还在等什么动动手就能拥有属于自己的”消消乐“小游戏呢，赶快学起来吧2022-05-05
这篇文章主要介绍了python graphviz画图详情，文章围绕graphviz画图的相关资料展开内容，并附有官方安装链接，需要的小伙伴可以参考一下，洗碗给对你有所帮助2021-12-12
python数据类型bytes 和 bytearray的使用与区别
本文主要介绍了python数据类型bytes 和 bytearray的使用与区别，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2022-02-02
这篇文章主要介绍了django页面跳转问题及注意事项，本文给大家介绍的非常详细，具有一定的参考借鉴价值,需要的朋友可以参考下2019-07-07
前面已经洋洋洒洒地介绍了不少数据类型。不能再不顾一切地向前冲了，应当总结一下。这样让看官能够从总体上对这些数据类型有所了解，如果能够有一览众山小的感觉，就太好了。2014-09-09
subprocess是子流程，即进程的意思，该模块可以启动一个新进程，并连接到它们的输入/输出/错误管道，从而获取返回值。本文将和大家聊聊subprocess模块的使用，需要的可以参考一下2022-11-11
在数据处理和报告生成等工作中,Excel 表格是一种常见且广泛使用的工具,本文中将介绍如何使用 Python 写入数据到 Excel 表格,并提供更高效和准确的 Excel 表格数据写入方案,需要的可以参考下2024-01-01
本文详细介绍了Python logging日志模块的使用方法，包括如何在代码中使用logging记录调试信息、如何设置日志级别、如何记录异常信息等。通过本文的指南，读者可以快速学会如何使用logging模块进行调试，并保留有用的日志信息，便于后续排查问题和优化代码2023-04-04
这篇文章主要介绍了Python简单生成8位随机密码的方法,结合实例形式分析了2种简单生成随机密码的方法,非常简单实用,需要的朋友可以参考下2017-05-05
这篇文章主要介绍了matplotlib基础绘图命令之errorbar的使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-08-08
最新评论