python爬虫获取新浪新闻教学

 更新时间:2018年12月23日 09:50:41   作者:wang_yubin92  
在本篇内容中小编给大家分享的是关于python爬虫获取新浪新闻的相关步骤和知识点,需要的可以跟着学习下。

一提到python,大家经常会提到爬虫,爬虫近来兴起的原因我觉得主要还是因为大数据的原因,大数据导致了我们的数据不在只存在于自己的服务器,而python语言的简便也成了爬虫工具的首要语言,我们这篇文章来讲下爬虫,爬取新浪新闻

1、

大家知道,爬虫实际上就是模拟浏览器请求,然后把请求到的数据,经过我们的分析,提取出我们想要的内容,这也就是爬虫的实现
大家知道,爬虫实际上就是模拟浏览器请求,然后把请求到的数据,经过我们的分析,提取出我们想要的内容,这也就是爬虫的实现

2、首先,我们要写爬虫,可以借鉴一些工具,我们先从简单的入门,首先说到请求,我们就会想到python中,非常好用的requests,然后说到分析解析就会用到bs4,然后我们可以直接用pip命令来实现安装,假如安装的是python3,也可以用pip3

3、安装好这两个类库之后,然后我们就可以先请求数据,查看下新闻的内容,这个时候我们有可能看到的是乱码

4、怎么处理乱码呢?我们可以拿浏览器打开网页,右键查看网页源代码,我们可以看到编码格式为utf-8

5、然后我们在输出的时候添加编码格式,就可以查看到正确编码的数据了

6、拿到数据之后,我们需要先分析数据,看我们想要的数据在哪里,我们打开浏览器,右键审查,然后按示例图操作,就可以看到我们新闻所在的标签,假如是windows系统,选择开发中工具里面一样

7、我们知道属于哪个标签之后,就是用bs4来解析拿到我们想要的数据了

8、我们想要拿到新闻的具体标题,时间,地址,就需要我们在对元素进行深入的解析,我们还是按之前的方法,找到标题所在的标签

9、然后我们编写标题时间地址的python程序,就可以爬取出对应的标题内容,时间和地址

10、

简单的python爬取新闻就讲到这里啦

 总结:以上就是关于Python爬虫获取新浪新闻内容的步骤,感谢大家的的阅读和对脚本之家的支持。

相关文章

  • 解决PyQt5 无边框后窗口的移动问题

    解决PyQt5 无边框后窗口的移动问题

    这篇文章主要介绍了解决PyQt5 无边框后窗口的移动问题,具有很好的参考价值,希望对大家有所帮助,一起跟随小编过来看看吧
    2021-03-03
  • Tensorflow2.1实现Fashion图像分类示例详解

    Tensorflow2.1实现Fashion图像分类示例详解

    这篇文章主要为大家介绍了Tensorflow2.1实现Fashion图像分类示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2022-11-11
  • Python设计模式中的结构型桥接模式

    Python设计模式中的结构型桥接模式

    这篇文章主要介绍了Python设计模式中的结构型桥接模式,桥接模式即Bridge Pattern,将抽象部分与它的实现部分分离,使它们都可以独立地变化.下面来看看文章的详细内容介绍吧
    2022-02-02
  • Django url 路由匹配过程详解

    Django url 路由匹配过程详解

    这篇文章主要介绍了Django url 路由匹配过程详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • Python 为什么推荐蛇形命名法原因浅析

    Python 为什么推荐蛇形命名法原因浅析

    这篇文章主要介绍了Python 为什么推荐蛇形命名法,本文给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2020-06-06
  • Python中的异常处理学习笔记

    Python中的异常处理学习笔记

    这篇文章主要介绍了Python中的异常处理学习笔记,本文讲解了常见的异常类、自定义异常类、捕获异常、抛出异常、上下文管理器等内容,需要的朋友可以参考下
    2015-01-01
  • 利用python绘制正态分布曲线

    利用python绘制正态分布曲线

    这篇文章主要介绍了如何利用python绘制正态分布曲线,帮助大家更好的利用python进行数据分析,感兴趣的朋友可以了解下
    2021-01-01
  • OpenCV-Python使用cv2实现傅里叶变换

    OpenCV-Python使用cv2实现傅里叶变换

    在OpenCV中,我们通过cv2.dft()来实现傅里叶变换,使用cv2.idft()来实现逆傅里叶变换。本文就详细的介绍一下这两种用法,感兴趣的可以了解一下
    2021-06-06
  • Python 数据结构之队列的实现

    Python 数据结构之队列的实现

    这篇文章主要介绍了Python 数据结构之队列的实现的相关资料,需要的朋友可以参考下
    2017-01-01
  • python利用TextBlob库实现轻松分析文本情感

    python利用TextBlob库实现轻松分析文本情感

    TextBlob是一个基于NLTK(Natural Language Toolkit)和Pattern库的Python库,它提供了一系列方便的接口和方法来处理文本数据,下面我们就来学习一下如何利用TextBlob库实现轻松分析文本情感吧
    2023-12-12

最新评论