python爬取网页数据到保存到csv

更新时间：2022年01月07日 09:10:50 作者：wh来啦

大家好，本篇文章主要讲的是python爬取网页数据到保存到csv，感兴趣的同学赶快来看一看吧，对你有帮助的话记得收藏一下，方便下次浏览

任务需求：

爬取一个网址，将网址的数据保存到csv中。

爬取网址：

https://www.iqiyi.com/ranks1/1/0?vfrm=pcw_home&vfrmblk=&vfrmrst=712211_dianyingbang_rebo_title

网址页面：

代码实现结果：

代码实现：

导入包：

import requests
import parsel
import csv

设置csv文件格式：

设计未来数据的存储形式。

#打开文件
f = open('whxixi.csv', mode='a',encoding='utf-8',newline='')
 
#文件列名
csv_writer= csv.DictWriter(f,fieldnames=['电影名字',
    '弹幕总数',
    '新增评论',
    '电影链接',
    '电影日期',
    '电影类型',
    '电影演员',
    '电影介绍'])
 
#输入文件列名
csv_writer.writeheader()

获取数据：

获取网页的html，得到原始的数据（得到的数据保存在response中）。

#选择爱奇艺热播榜的网址
url='https://www.iqiyi.com/ranks1/1/0?vfrm=pcw_home&vfrmblk=&vfrmrst=712211_dianyingbang_rebo_title'
 
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}
 
#获取网址内容，赋值 到response
response = requests.get(url=url, headers=headers)

加工数据：

对得到的网页原始数据进行加工处理，即提取出有用的数据。备注，根据爬取的网页进行调整css（）里面的内容，不同网站页面的结构不同，根据需要进行调整。（F12开发者模式）

#把response.text转换为selector对象 可以使用re， css，x-path选择器
webtext = parsel.Selector(response.text)
 
#第一步筛选数据，形成列表，可以使下次查找形成循环
list=webtext.css('.rvi__list a')
 
#再上一步的基础上，使用循环，进行提取数据
for li in list:
    title= li.css(' .rvi__con .rvi__tit1::text').get()
    bulletcomments =li.css('.rvi__con .rvi__tag__box span:nth-child(1)::text').get() #弹幕总数
    newcomments =li.css(' .rvi__con .rvi__tag__box span:nth-child(2)::text').get() #新增评论数
    href = li.css('  ::attr(href)').get().replace('//','http://')
    movie_info=li.css(' .rvi__con .rvi__type1 span::text').get().split('/')
    year = movie_info[0].strip()
    type = movie_info[1].strip()
    actor = movie_info[2].strip()
    filmIntroduction=li.css(' .rvi__con p::text').get().strip()
    dic={
        '电影名字':title,
        '弹幕总数':bulletcomments,
        '新增评论':newcomments,
        '电影链接':href,
        '电影日期':year,
        '电影类型':type,
        '电影演员':actor,
        '电影介绍':filmIntroduction
    }
    csv_writer.writerow(dic)  #将数据输入到csv文件中

完整代码：

import requests
import parsel
import csv
f = open('whxixi.csv', mode='a',encoding='utf-8',newline='')
 
csv_writer= csv.DictWriter(f,fieldnames=['电影名字',
    '弹幕总数',
    '新增评论',
    '电影链接',
    '电影日期',
    '电影类型',
    '电影演员',
    '电影介绍'])
 
csv_writer.writeheader()
 
#选择爱奇艺热播榜的网址
url='https://www.iqiyi.com/ranks1/1/0?vfrm=pcw_home&vfrmblk=&vfrmrst=712211_dianyingbang_rebo_title'
 
headers = {'user-agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.110 Safari/537.36 Edg/96.0.1054.62'}
 
#获取网址内容，赋值 到response
response = requests.get(url=url, headers=headers)
 
#把response.text转换为selector对象 可以使用re， css，x-path选择器
webtext = parsel.Selector(response.text)
 
#第一步筛选数据，形成列表，可以使下次查找形成循环
list=webtext.css('.rvi__list a')
 
#再上一步的基础上，使用循环，进行提取数据
for li in list:
    title= li.css(' .rvi__con .rvi__tit1::text').get()
    bulletcomments =li.css('.rvi__con .rvi__tag__box span:nth-child(1)::text').get() #弹幕总数
    newcomments =li.css(' .rvi__con .rvi__tag__box span:nth-child(2)::text').get() #新增评论数
    href = li.css('  ::attr(href)').get().replace('//','http://')
    movie_info=li.css(' .rvi__con .rvi__type1 span::text').get().split('/')
    year = movie_info[0].strip()
    type = movie_info[1].strip()
    actor = movie_info[2].strip()
    filmIntroduction=li.css(' .rvi__con p::text').get().strip()
    dic={
        '电影名字':title,
        '弹幕总数':bulletcomments,
        '新增评论':newcomments,
        '电影链接':href,
        '电影日期':year,
        '电影类型':type,
        '电影演员':actor,
        '电影介绍':filmIntroduction
    }
    csv_writer.writerow(dic)  #将数据输入到csv文件中

总结

到此这篇关于python爬取网页数据到保存到csv的文章就介绍到这了,更多相关python爬取网页数据内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

Python
csv

python实现图片变亮或者变暗的方法
这篇文章主要介绍了python实现图片变亮或者变暗的方法,涉及Python中Image模块操作图片的相关技巧,需要的朋友可以参考下
2015-06-06
opencv实现图像缩放效果
这篇文章主要为大家详细介绍了opencv实现图像缩放效果，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2021-03-03
Django项目中添加ldap登陆认证功能的实现
这篇文章主要介绍了Django项目中添加ldap登陆认证功能的实现，详细介绍了django-auth-ldap的使用方法，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2019-04-04
wxPython的安装与使用教程
wxPython是Python语言的一套优秀的GUI图形库。wxPython可以很方便的创建完整的、功能键全的GUI用户界面。这篇文章给大家介绍了wxPython的安装与使用，感兴趣的朋友一起看看吧
2018-08-08
Python教程教你如何去除背景
这篇文章主要介绍了Python教程教你如何去除背景，修饰图片中的头发是设计师最烦人的任务之一,下面文章将让大家学会怎么轻松抠图去背景，需要的小伙伴可以参考一下
2022-02-02
使用SimpleITK读取和保存NIfTI/DICOM文件实例
这篇文章主要介绍了使用SimpleITK读取和保存NIfTI/DICOM文件实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
2020-07-07
Django 状态保持搭配与存储的实现
本文主要介绍了Django 状态保持搭配与存储的实现，文中通过示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2022-06-06
超简单的Matplotlib安装与配置教程
Matplotlib是Python的第三方绘图库,它非常类似于MATLAB,在使用Matplotlib软件包之前需要对其进行安装,这篇文章主要给大家介绍了关于Matplotlib安装与配置的相关资料,需要的朋友可以参考下
2023-09-09
分析总结Python数据化运营KMeans聚类
本文主要以 Python 使用 Keans 进行聚类分析的简单举例应用介绍聚类分析，它是探索性数据挖掘的主要任务，也是统计数据分析的常用技术，用于许多领域
2021-08-08
Python函数和文件操作详情
这篇文章主要介绍了Python函数和文件操作详情，函数在编程中是一个很重要的角色，我们可以将若干个语句组合形成一个函数，它可以接受传入参数，并在内部进行相关计算后产生输出，下文详细内容需要的小伙伴可以参考一下
2022-05-05