python爬虫爬取网页表格数据
更新时间：2018年03月07日 10:41:32 作者：zhuxunyuoyi
这篇文章主要为大家详细介绍了python爬虫爬取网页表格数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
用python爬取网页表格数据，供大家参考，具体内容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#检查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法链接服务器！！！')
#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存资源
def save_contents(urlist):
with open("D:/2016年中国企业500强排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中国企业500强排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。
相关文章
今天小编就为大家分享一篇TensorFlow打印tensor值的实现方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要为大家详细介绍了python购物车程序的简单代码，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-04-04
这篇文章主要为大家详细介绍了python3.4用函数操作mysql5.7数据库，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2017-06-06
今天小编就为大家分享一篇Python将文本去空格并保存到txt文件中的实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
python神经网络MobileNetV3 small模型的复现详解
这篇文章主要为大家介绍了python神经网络MobileNetV3 small模型的复现详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-05-05
这篇文章主要为大家介绍了Python中最强大的重试库Tenacity使用探索,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪2023-12-12
这篇文章主要介绍了Django数据库如何在原有表中添加新字段问题,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-09-09
任务很简单，某个目录下面有几千个文件，某些文件没有后缀名，现在的任务就是将所有的没有后缀名的文件加上后缀名，python有现成的函数可以实现，但是在实现过程中遇到几个问题，分享一下解决方法2012-05-05
使用Ajax技术网页应用能够快速地将增量更新呈现在用户界面上，而不需要重载刷新整个页面，这使得程序能够更快地回应用户的操作，本文将简单介绍使用AJAX如何实现前后端数据通信2022-11-11
Anaconda安装pytorch及配置PyCharm 2021环境
小编使用的是python3.8版本，为了防止访问量过大导致http连接失败，所以采用本地安装，具体安装方法本文给大家详细介绍，在文章底部给大家提到了PyCharm 2021配置环境的方法，感兴趣的朋友一起看看吧2021-06-06
最新评论