python访问抓取网页常用命令总结
更新时间：2017年04月11日 15:34:37 投稿：lqh
这篇文章主要介绍了python访问抓取网页常用命令的相关资料,需要的朋友可以参考下
python访问抓取网页常用命令
简单的抓取网页:
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
直接将URL保存为本地文件：
import urllib.request url="http://google.cn/" response=urllib.request.urlopen(url) #返回文件对象 page=response.read()
POST方式：
import urllib.parse
import urllib.request
url="http://liuxin-blog.appspot.com/messageboard/add"
values={"content":"命令行发出网页请求测试"}
data=urllib.parse.urlencode(values)
#创建请求对象
req=urllib.request.Request(url,data)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
GET方式：
import urllib.parse
import urllib.request
url="http://www.google.cn/webhp"
values={"rls":"ig"}
data=urllib.parse.urlencode(values)
theurl=url+"?"+data
#创建请求对象
req=urllib.request.Request(theurl)
#获得服务器返回的数据
response=urllib.request.urlopen(req)
#处理数据
page=response.read()
有2个常用的方法,geturl(),info()
geturl()的设置是为了辨别是否有服务器端的网址重定向,而info()则包含了一系列的信息。
中文问题的处理，会用到 encode()编码 dencode()解码：
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
相关文章
解决python中安装serial及No module named ‘serial.too
这篇文章主要介绍了解决python中安装serial及No module named ‘serial.tools‘等问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
这篇文章主要介绍了Pytorch转onnx、torchscript方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
这篇文章主要给大家介绍了关于PyQt5执行耗时操作导致界面卡死或未响应的原因及解决办法,由于耗时的操作会独占系统cpu资源,让界面卡死在那里,文中通过代码介绍的非常详细,需要的朋友可以参考下2023-12-12
这篇文章主要介绍了Python爬虫Xpath定位数据的方法,第一种方法直接右键，将文章路径复制下来点击Copy full Xpath，方法二使用@制定标签属性，搜索指定位置，每种方法给大家介绍的非常详细，需要的朋友可以参考下2022-07-07
今天小编就为大家分享一篇关于Python小进度条显示代码，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
多维数据分析是对数据的信息分析,它考虑了许多关系,这篇文章主要为大家详细介绍了一些使用Python分析多维/多变量数据的基本技术,希望对大家有所帮助2023-11-11
这篇文章主要介绍了python 查看pytorch版本的操作，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了Python接口测试文件上传实例解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-05-05
这篇文章主要介绍了Python连接MySQL数据库后的一些基本操作，并以银行管理系统项目为例，为大家具体介绍了一下部分功能的实现，文中的示例代码具有一定的学习价值，感兴趣的可以了解一下2021-12-12
这篇文章主要介绍了Python的函数的一些高阶特性,包括函数名用作变量等一些小技巧,需要的朋友可以参考下2015-04-04
最新评论