Python网络爬虫信息提取mooc代码实例
更新时间:2020年03月06日 09:20:09 作者:159566
这篇文章主要介绍了python网络爬虫与信息提取mooc,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
实例一--爬取页面
import requests url="https//itemjd.com/2646846.html" try: r=requests.get(url) r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[:1000]) except: print("爬取失败")
正常页面爬取
实例二--爬取页面
import requests url="https://www.amazon.cn/gp/product/B01M8L5Z3Y" try: kv={'user-agent':'Mozilla/5.0'} r=requests.get(url,headers=kv) r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[1000:2000]) except: print("爬取失败")
对访问用户名有限制,模拟浏览器对网站请求
实例三--爬取搜索引擎
#百度的关键词接口:http://www.baidu.com/s?wd=keyword #360的关键词接口:http://www.so.com/s?q=keyword import requests keyword="python" try: kv={'wd':keyword} r=requests.get("http://www.baidu.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text)) except: print("爬取失败") -------------------------------------------------- import requests keyword="python" try: kv={'q':keyword} r=requests.get("http://www.so.com/s",params=kv) print(r.request.url) r.raise_for_status() print(len(r.text)) except: print("爬取失败")
实例四--:爬取图片
import requests import os url="http://image.nationalgeographic.com.cn/2017/0211/20170211061910157.jpg" root="F://pics//" path=root+url.split('/')[-1] try: if not os.path.exists(root): os.mkdir(root) if not os.path.exists(path): r=requests.get(url) with open(path,'wb') as f: f.write(r.content) f.close() print("文件保存成功") else: print("文件已经存在") except: print("爬取失败")
爬取并保存图片
实例五--IP地址归属地查询:
http://m.ip138.com/ip.asp?ip=ipaddress
url="http://www.ip138.com/iplookup.asp?ip=" try: r=requests.get(url+'202.204.80.112'+'&action=2') r.raise_for_status() r.encoding=r.apparent_encoding print(r.text[-500:]) except: print("爬取失败")
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持脚本之家。
相关文章
Python3编码问题 Unicode utf-8 bytes互转方法
今天小编就为大家分享一篇Python3编码问题 Unicode utf-8 bytes互转方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2018-10-10Python中pandas库sort_values()方法的使用
最后去看了有关于 sort_values 的文档,成功解决先把单词出现频次由高往低依次排序,再把频次相同的情况下的单词按照 MD5 值排序这个问题,下面通过本文讲解下Python中pandas库sort_values()方法的使用,感兴趣的朋友一起看看吧2023-07-07django rest framework 数据的查找、过滤、排序的示例
这篇文章主要介绍了 django rest framework 数据的查找、过滤、排序,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧2018-06-06聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明
这篇文章主要介绍了聊聊Python pandas 中loc函数的使用,及跟iloc的区别说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
最新评论