Python入门到实战之网络请求与数据获取详解

 更新时间:2025年11月18日 08:26:46   作者:烤汉堡  
这篇文章主要为大家详细介绍了Python中网络请求与数据获取的相关知识,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下

一、环境准备,安装requests库

1.安装命令(终端执行)

 #安装requests库
pip install requests -i https://pypi.tuna.tsinghua.edu.cn/simple/
#(该方式是临时指定的,每次下载需要去cmd终端下载库 相对来说比较麻烦,每次添加库的时候就要去cmd终端去下载)

2.解决安装超时的问题(配置国内镜像源)

pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

说明:默认连接Python官方仓库,国内镜像源(如清华源)可提升下载速度。

二、基本用法:发起GET请求

1.导入模块与基础请求

import requests #导入requests库
# 在要获取数据的浏览器页面里,找到目标URL(以疾病查询页面为例),键盘按下Fn+F12,查看是什么请求方式
url = 'https://www.youlai.cn/dise'
# 发起get请求,获取响应对象 将获取到的响应对象的结果给到变量res
res = requests.get(url) 
# 打印响应内容(如果响应结果是HTML文本内容)
print("响应内容:",res.text)

2.处理中文乱码问题

import requests
url = 'https://www.tjwenming.cn/'
res = requests.get(url)
# 手动指定编码(根据目标网页的meta标签设置,此处以gb2312为例)
res.encoding = 'gb2312'
print('处理后的中午内容:',res.text)

调用encoding前

调用encoding后

关键步骤:

  • 检查网页源码中的<metacharset="xxx">标签,获取编码格式(如utf-8、gbk、gb2312)。
  • 通过response.encoding设置编码,确保中文正常显示。

三、带参数的GET请求

1.参数传递方式

方式一:URL拼接参数(直接在URL中携带参数)

import requests
#包含参数的完整URL(从浏览器复制)
url='https://careers.tencent.com/tencentcareer/api/post/Query?timestamp=1763364793381&countryId=&cityId=&bgIds=&productId=&categoryId=&parentCategoryId=&attrId=2,3&keyword=&pageIndex=1&pageSize=10&language=zh-cn&area=cn'
res = requests.get(url)
print(res.text)

方式二:通过params参数传递

url = 'https://careers.tencent.com/tencentcareer/api/post/Query' # 注意写基础的URL 不带后面的请求参数
params = { # 将请求参数通过字典的形式存起来,给到params
    'timestamp': 1763364793381,
    'ountryId': '',
    'cityId': '',
    'bgIds': '',
    'productId': '',
    'categoryId': '',
    'parentCategoryId': '',
    'attrId': '2,3', # 注意参数为字符串类型
    'keyword': '',
    'pageIndex': 1,
    'pageSize': 10,
    'language': 'zh-cn',
    'area': 'cn'
}
# 发起请求时传递params参数
res = requests.get(url,params=params)
print(res.text)

四、获取二进制数据(图片、视频等)

下载网络图片并保存

import requests
url = 'http://pic.enorth.com.cn/005/026/920/00502692031_21660ab6.jpg'
res = requests.get(url)
#如果请求网址对应的数据为图片视频音频
#获取数据的方式:响应对象.content--->字节数据
res_img = res.content 
with open('1.jpg','wb') as f:
    f.write(res_img)

关键点:

  • 二进制数据通过response.content获取,而非text。
  • 文件扩展名需与内容类型匹配(如.gif、.mp4、.jpg)。

到此这篇关于Python入门到实战之网络请求与数据获取详解的文章就介绍到这了,更多相关Python网络请求和数据获取内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • python使用seaborn绘图直方图displot,密度图,散点图

    python使用seaborn绘图直方图displot,密度图,散点图

    这篇文章主要介绍了python使用seaborn绘图直方图displot,密度图,散点图,文章围绕主题展开详细的内容介绍,具有一定的参考价值,需要的小伙伴可以参考一下
    2022-07-07
  • 带你一文读懂Python垃圾回收机制

    带你一文读懂Python垃圾回收机制

    这篇文章主要介绍了带你一文读懂Python垃圾回收机制,如果对其垃圾回收机制不了解,很多时候写出的 Python 代码会非常低效,需要的朋友可以参考下
    2023-04-04
  • Flask缓存静态文件的具体方法

    Flask缓存静态文件的具体方法

    在本篇文章中小编给大家整理的是一篇关于Flask缓存静态文件的具体方法,有需要的朋友们可以参考下。
    2020-08-08
  • Python Requests访问网络更方便

    Python Requests访问网络更方便

    这篇文章主要介绍了使用Python Requests访问网络,Python Requests 是一个非常强大的 HTTP 客户端库,用于发送 HTTP 请求,获取响应等操作,通过这个库,你可以轻松地与 Web 服务进行交互,实现各种网络请求
    2024-01-01
  • Python装饰器代码详解

    Python装饰器代码详解

    这篇文章主要介绍了python 一篇文章搞懂装饰器所有用法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-10-10
  • 代码总结Python2 和 Python3 字符串的区别

    代码总结Python2 和 Python3 字符串的区别

    在本篇文章里小编给大家整理的是一篇关于Python2 和 Python3 字符串的区别以及实例代码,需要的朋友们学习下。
    2020-01-01
  • Django ORM F对象和Q对象查询

    Django ORM F对象和Q对象查询

    Django提供了两个非常有用的工具:F对象和Q对象,方便了在一些特殊场景下的查询过程,这篇文章主要介绍了Django ORM F对象和Q对象查询,需要的朋友可以参考下
    2022-10-10
  • Python多进程与服务器并发原理及用法实例分析

    Python多进程与服务器并发原理及用法实例分析

    这篇文章主要介绍了Python多进程与服务器并发原理及用法,深入浅出的介绍了进程、并行、并发、同步、异步等相关概念与原理,并结合实例形式给出了Python多进程编程相关操作技巧,需要的朋友可以参考下
    2018-08-08
  • django正续或者倒序查库实例

    django正续或者倒序查库实例

    这篇文章主要介绍了django正续或者倒序查库实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-05-05
  • Python教程使用Chord包实现炫彩弦图示例

    Python教程使用Chord包实现炫彩弦图示例

    在可视化中,有时候会使用到弦图(Chord Diagram)来表示事物之间关系,本篇文章教大家如何使用Chord包实现炫彩弦图,有需要的朋友可以借鉴参考下,希望大家多多进步,早日升职加薪
    2021-09-09

最新评论