python访问抓取网页常用命令总结
更新时间：2017年04月11日 15:34:37 投稿：lqh
这篇文章主要介绍了python访问抓取网页常用命令的相关资料,需要的朋友可以参考下
python访问抓取网页常用命令
简单的抓取网页:
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
直接将URL保存为本地文件：
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
POST方式：
import urllib.parse
import urllib.request
url="http://liuxin-blog.appspot.com/messageboard/add"
values={"content":"命令行发出网页请求测试"}
data=urllib.parse.urlencode(values)
#创建请求对象
req=urllib.request.Request(url,data)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
GET方式：
import urllib.parse
import urllib.request
url="http://www.google.cn/webhp"
values={"rls":"ig"}
data=urllib.parse.urlencode(values)
theurl=url+"?"+data
#创建请求对象
req=urllib.request.Request(theurl)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
有2个常用的方法,geturl(),info()
geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。
中文问题的处理，会用到 encode()编码 dencode()解码：
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
今天小编就为大家分享一篇用python画一只可爱的皮卡丘实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-11-11
这篇文章主要介绍了python Polars库的使用简介，帮助大家更好的理解和学习使用python，感兴趣的朋友可以了解下2021-04-04
详解Python logging调用Logger.info方法的处理过程
这篇文章主要介绍了详解Python logging调用Logger.info方法的处理过程，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2019-02-02
说到日志，我们完全可以想象为现实生活中的日记。日记是我们平时记录我们生活中点点滴滴的一种方法，而日志我们可以认为是 程序的日记 ，程序的日记是用来记录程序的行为。本文将详细介绍Python中的日志模块(logging)，需要的可以参考一下2022-03-03
这篇文章主要介绍了Python实现文件按照日期命名的方法,涉及Python针对文件的遍历、读写及时间操作相关技巧,需要的朋友可以参考下2015-07-07
这篇文章主要介绍了Python unittest单元测试框架实现参数化,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-04-04
这篇文章主要介绍了Python短信轰炸的代码，代码简单易懂，对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下2020-03-03
这篇文章主要介绍了python高效的素数判断算法，研究算法的同学一定要看一下2021-04-04
今天小编就为大家分享一篇解决python opencv无法显示图片的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10
BeautifulSoup中find和find_all的使用详解
这篇文章主要介绍了BeautifulSoup中find和find_all的使用详解，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2020-12-12
最新评论