Python爬虫获取国外大桥排行榜数据清单
前言：
本例开始学习 PyQuery 解析框架，该解析对从前端转 Python 的朋友非常友好，因为它模拟的是 JQuery 操作。
正式开始前，先安装 pyquery 到本地开发环境中。命令如下：pip install pyquery ，我使用的版本为 1.4.3。
基本使用如下所示，看懂也就掌握了 5 成了，就这么简单。
from pyquery import PyQuery as pq
s = '<html><title>橡皮擦的PyQuery小课堂</title></html>'
doc = pq(s)
print(doc('title'))输出如下内容：
<title>橡皮擦的PyQuery小课堂</title>
也可以直接将要解析的网址 URL 传递给 pyquery 对象，代码如下所示：
from pyquery import PyQuery as pq
url = "https://www.bilibili.com/"
doc = pq(url=url,encoding="utf-8")
print(doc('title')) # <title>哔哩哔哩 (゜-゜)つロ 干杯~-bilibili</title>相同的思路，还可以通过文件初始化 pyquery 对象，只需要修改参数为 filename 即可。
基础铺垫过后，就可以进入到实操环节，下面是本次要抓取的目标案例分析。
目标站点分析
本次要采集的为 ：List of Highest International Bridges（最高国际桥梁名单），
页面呈现的数据如下所示：
在翻阅过程中发现多数都是中国设计的，果然我们基建世界第一。
翻页规则如下所示：
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_2
# 实测翻到第 13 页数据就空了，大概1200座桥梁
http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_13
由于目标数据以表格形式存在，故直接按照表头提取数据即可。 Rank，Name，Height (meters / feet)，Main Span Length，Completed，Location，Country
编码时间
正式编码前，先拿第一页进行练手：
from pyquery import PyQuery as pq
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_1"
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
def remove(str):
return str.replace("
", "").replace("\n", "")
# 获取所有数据所在的行，下面使用的是 css 选择器，称作 jquery 选择器也没啥问题
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
td_list = item.find('td')
rank = td_list.eq(1).find("span.sorttext").text()
name = td_list.eq(2).find("a").text()
height = remove(td_list.eq(3).text())
length = remove(td_list.eq(4).text())
completed = td_list.eq(5).text()
location = td_list.eq(6).text()
country = td_list.eq(7).text()
print(rank, name, height, length, completed, location, country)代码整体写下来，发现依旧是对于选择器的依赖比较大，也就是需要熟练的操作选择器，选中目标元素，方便获取最终的数据。
将上述代码扩大到全部数据，修改成迭代采集：
from pyquery import PyQuery as pq
import time
def remove(str):
return str.replace("
", "").replace("\n", "").replace(",", "，")
def get_data(page):
url = "http://www.highestbridges.com/wiki/index.php?title=List_of_Highest_International_Bridges/Page_{}".format(
page)
print(url)
doc = pq(url=url, encoding='utf-8')
print(doc('title'))
# 获取所有数据所在的行，下面使用的是 css 选择器，称作 jquery 选择器也没啥问题
items = doc.find('table.wikitable.sortable tr').items()
for item in items:
td_list = item.find('td')
rank = td_list.eq(1).find("span.sorttext").text()
name = remove(td_list.eq(2).find("a").text())
height = remove(td_list.eq(3).text())
length = remove(td_list.eq(4).text())
completed = remove(td_list.eq(5).text())
location = remove(td_list.eq(6).text())
country = remove(td_list.eq(7).text())
data_tuple = (rank, name, height, length, completed, location, country)
save(data_tuple)
def save(data_tuple):
try:
my_str = ",".join(data_tuple) + "\n"
# print(my_str)
with open(f"./data.csv", "a+", encoding="utf-8") as f:
f.write(my_str)
print("写入完毕")
except Exception as e:
pass
if __name__ == '__main__':
for page in range(1, 14):
get_data(page)
time.sleep(3)其中发现存在英文的逗号，统一进行修改，即 remove(str) 函数的应用。
到此这篇关于Python爬虫获取国外大桥排行榜数据清单的文章就介绍到这了,更多相关Python数据清单内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要介绍了python使用import引入其他目录文件方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2024-02-02
这篇文章主要介绍了python 数据库查询返回list或tuple实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2020-05-05
今天小编就为大家分享一篇关于Python高级特性与几种函数的讲解，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧2019-03-03
今天小编就为大家分享一篇Pandas 数据处理,数据清洗详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2018-07-07
这篇文章主要介绍了python实战之90行代码写个猜数字,文中有非常详细的代码示例,对正在学习python的小伙伴们有很大的帮助,需要的朋友可以参考下2021-04-04
这篇文章主要为大家介绍了Caffe数据可视化环境python接口配置教程示例详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-06-06
这篇文章主要介绍了Pandas中的空字符串(非缺失值)处理方式,具有很好的参考价值,希望对大家有所帮助,如有错误或未考虑完全的地方,望不吝赐教2023-08-08
这篇文章主要介绍了Python基于Tkinter实现的记事本,实例分析了Tkinter实现记事本程序的相关技巧,需要的朋友可以参考下2015-06-06
numpy数组做图片拼接的实现（concatenate、vstack、hstack）
这篇文章主要介绍了numpy数组做图片拼接的实现（concatenate、vstack、hstack），文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-11-11
这篇文章主要介绍了python如何将图片转换素描画，帮助大家更好的用python处理图片，感兴趣的朋友可以了解下2020-09-09
最新评论