使用Python爬虫库requests发送请求、传递URL参数、定制headers

 更新时间:2020年01月25日 11:50:39   作者:BQW_  
今天为大家介绍一下Python爬虫库requests的发送请求、传递URL参数、定制headers的基础使用方法

首先我们先引入requests模块

import requests

一、发送请求

r = requests.get('https://api.github.com/events') # GET请求
r = requests.post('http://httpbin.org/post', data = {'key':'value'}) # POST请求
r = requests.put('http://httpbin.org/put', data = {'key':'value'}) # PUT请求
r = requests.delete('http://httpbin.org/delete') # DELETE请求
r = requests.head('http://httpbin.org/get') # HEAD请求
r = requests.options('http://httpbin.org/get') # OPTIONS请求
type(r)
requests.models.Response

二、传递URL参数

URL传递参数的形式为:httpbin.org/get?key=val。但是手动的构造很麻烦,这是可以使用params参数来方便的构造带参数URL。

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2

同一个key可以有多个value

payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get('http://httpbin.org/get', params=payload)
print(r.url)
http://httpbin.org/get?key1=value1&key2=value2&key2=value3

三、定制headers

只需要将一个dict传递给headers参数便可以定制headers

url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)

更多关于Python爬虫库requests的使用方法请点击下面的相关链接

相关文章

  • Python中几种操作字符串的方法的介绍

    Python中几种操作字符串的方法的介绍

    这篇文章主要介绍了详解Python中几种操作字符串的方法,字符串的操作是Python学习中最基础的基础知识,需要的朋友可以参考下
    2015-04-04
  • python实现ping命令小程序

    python实现ping命令小程序

    这篇文章主要介绍了python实现ping命令小程序的方法,帮助大家更好的理解和使用python,感兴趣的朋友可以了解下
    2020-12-12
  • 对pandas中iloc,loc取数据差别及按条件取值的方法详解

    对pandas中iloc,loc取数据差别及按条件取值的方法详解

    今天小编就为大家分享一篇对pandas中iloc,loc取数据差别及按条件取值的方法详解,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-11-11
  • Python处理PPT文件的实用知识点总结

    Python处理PPT文件的实用知识点总结

    python是一门很强大的语言,因为有着丰富的第三方库,所以可以说Python是无所不能的,下面这篇文章主要给大家介绍了关于用Python提取PPT中图片的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
    2023-01-01
  • Python3实现腾讯云OCR识别

    Python3实现腾讯云OCR识别

    这篇文章主要为大家详细介绍了Python3实现腾讯云OCR识别,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-11-11
  • 使用python从三个角度解决josephus问题的方法

    使用python从三个角度解决josephus问题的方法

    这篇文章主要介绍了使用python从三个角度解决josephus问题的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2020-03-03
  • python如何使用replace做多字符替换

    python如何使用replace做多字符替换

    这篇文章主要介绍了python如何使用replace做多字符替换,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教
    2022-05-05
  • Python中socket网络通信是干嘛的

    Python中socket网络通信是干嘛的

    在本篇文章里小编给大家分享的是关于Python中socket网络通信知识点内容,需要的朋友们可以跟着学习下。
    2020-05-05
  • python实现简易通讯录修改版

    python实现简易通讯录修改版

    这篇文章主要为大家详细介绍了python实现简易通讯录的修改版,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
    2018-03-03
  • 利用Python提取PDF文本的简单方法实例

    利用Python提取PDF文本的简单方法实例

    日常工作中我们经常会用到pdf格式的文件,大多数情况下是浏览或者编辑pdf信息,但有时候需要提取pdf中的文本,下面这篇文章主要给大家介绍了关于利用Python提取PDF文本的简单方法,需要的朋友可以参考下
    2022-07-07

最新评论