python爬虫爬取网页表格数据
更新时间：2018年03月07日 10:41:32 作者：zhuxunyuoyi
这篇文章主要为大家详细介绍了python爬虫爬取网页表格数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
用python爬取网页表格数据，供大家参考，具体内容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#检查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法链接服务器！！！')
#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存资源
def save_contents(urlist):
with open("D:/2016年中国企业500强排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中国企业500强排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇python3 requests库实现多图片爬取教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了Python中的引用和拷贝浅析,本文同时讲解了深拷贝和浅拷贝、引用计数和垃圾回收等内容,需要的朋友可以参考下2014-11-11
Python3+Django get/post请求实现教程详解
这篇文章主要介绍了Python3+Django get/post请求实现教程详解,需要的朋友可以参考下2021-02-02
这篇文章主要介绍了Django Rest framework之认证的实现代码，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-12-12
更改Ubuntu默认python版本的两种方法python-> Anaconda
当你安装 Debian Linux 时，安装过程有可能同时为你提供多个可用的 Python 版本，因此系统中会存在多个 Python 的可执行二进制文件。一般Ubuntu默认的Python版本都为2.x, 如何改变Python的默认版本呢？下面来一起看看吧。2016-12-12
这篇文章主要介绍了python模拟豆瓣登录，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-04-04
这篇文章主要介绍了浅谈openpyxl库,遇到批量合并单元格的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-03-03
这篇文章主要介绍了pycharm 配置svn的图文教程，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2021-01-01
OTSU算法是大津展之提出的阈值分割方法,又叫最大类间方差法,本文主要为大家详细介绍了OTSU算法的原理与Python实现,感兴趣的小伙伴可以了解下2023-12-12
Nagios是一款开源的免费网络监视工具，能有效监控Windows、Linux和Unix的主机状态，交换机路由器等网络设置，打印机等,本文给大家介绍Python利用Nagios增加微信报警通知的功能，需要的朋友参考下2016-02-02
最新评论