学习Python爬虫前必掌握知识点

 更新时间:2021年04月08日 11:27:45   作者:互联网老辛  
这篇文章主要介绍了学习Python爬虫前,我们需要了解涉及爬虫的知识点,学习爬虫的知识点比较多,我们一起学习爬虫吧

常见的协议

http和https
http协议:
超文本传输协议,是一个发布和接受HTML页面的方法,端口是80

https 协议:http协议的加密版本,在HTTP下加上了ssl层,端口是443

下面访问的是美团的官网:
可以看到端口是443

在这里插入图片描述

URL和RUI

常见的请求方式

http协议规定了浏览器与服务器进行数据交互过程中必须要选择一种交互方式
在http协议中定义了8中请求方式,常见的是get和post请求

get请求: 一般只从服务器获取数据下来,并不会对服务器资源产生任何的影响。

在这里插入图片描述
请求的时候关注:

url请求方式请求头

post请求: 向服务器发送数据(登陆),上传文件等,会对服务器资源产生影响的时候,会使用post请求。

不过有些网站做了反爬虫机制,你去查看信息,也是使用post请求,所以我们写爬虫的时候,一定要分析网站。

常见的请求头参数:

http协议中,向服务器发送一个请求,数据分为三部分:

  • 把数据放在url中
  • 数据放在body中,(post请求)
  • 数据放在head中

常见的请求头参数:

  • user-agent :浏览器名称
  • referer: 当前这个请求从哪个url过来的
  • cookie:http 协议是无状态的,也就是一个人发送了两次请求,服务器没有能力知道这两个请求是否来自同一个人。

在这里插入图片描述

常见的相应状态码

  •  200 请求正常,服务器正常返回数据
  • 301 永久重定向
  • 404 请求的url在服务器上找不到
  • 418 发送请求遇到服务器端的反爬虫,服务器拒绝相应数据
  • 500 服务器内部错误,可能是服务器出现了bug

HTTP的请求相应过程

在这里插入图片描述

使用浏览器进行网站分析

我们要分析的网站为: movie.douban.com

在这里插入图片描述

  • Elements: 用于分析网站的结构

在页面上的呈现的内容,在Elements都会有相应的元素。

在这里插入图片描述

  • Console: 这里会打印招聘信息,警告等等。

在这里插入图片描述

  • Sources
  • Network : 在显示页面的时候,产生的所有请求

headers 头部信息

 session 与cookie

session代表的是服务器和浏览器的一次会话过程
session 是一种服务器端的机制,用来存储特定用户的会话所需要的信息,保存在内存,缓存,或者数据库中。

cookie
cooke是由服务器端生成后发送给客户端,cookie是保存在客户端的

cookie原理:
1) 创建cookie
2) 设置存储cookie
3) 发送cookie
4) 读取cookie

到此这篇关于学习Python爬虫前,需要先掌握哪些知识内容的文章就介绍到这了,更多相关学习Python爬虫掌握知识内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)

    Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)

    下面小编就为大家带来一篇Python读取和处理文件后缀为.sqlite的数据文件(实例讲解)。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2017-06-06
  • python 修改本地网络配置的方法

    python 修改本地网络配置的方法

    今天小编就为大家分享一篇python 修改本地网络配置的方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-08-08
  • python中bytes和str类型的区别

    python中bytes和str类型的区别

    这篇文章主要介绍了python中bytes和str类型的区别,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-10-10
  • 深入理解Django中内置的用户认证

    深入理解Django中内置的用户认证

    Django自带一个用户认证系统,这个系统处理用户帐户、组、权限和基于cookie的会话,下面这篇文章就来给大家介绍了关于Django中内置的用户认证的相关资料,文中通过示例代码介绍的非常详细,需要的朋友可以参考下。
    2017-10-10
  • Tensorflow实现多GPU并行方式

    Tensorflow实现多GPU并行方式

    今天小编就为大家分享一篇Tensorflow实现多GPU并行方式,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2020-02-02
  • Python解析excel文件存入sqlite数据库的方法

    Python解析excel文件存入sqlite数据库的方法

    最近工作中遇到一个需求,需要使用Python解析excel文件并存入sqlite,本文就实现的过程做个总结分享给大家,文中包括数据库设计、建立数据库、Python解析excel文件、Python读取文件名并解析和将解析的数据存储入库,有需要的朋友们下面来一起学习学习吧。
    2016-11-11
  • windows下安装Python的XlsxWriter模块方法

    windows下安装Python的XlsxWriter模块方法

    今天小编就为大家分享一篇windows下安装Python的XlsxWriter模块方法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2018-05-05
  • python的dict,set,list,tuple应用详解

    python的dict,set,list,tuple应用详解

    这篇文章主要介绍了python的dict,set,list,tuple应用详解,需要的朋友可以参考下
    2014-07-07
  • Python SQLite3数据库日期与时间常见函数用法分析

    Python SQLite3数据库日期与时间常见函数用法分析

    这篇文章主要介绍了Python SQLite3数据库日期与时间常见函数用法,结合实例形式分析了Python连接、查询SQLite3数据以及数据库日期与时间常见操作方法,需要的朋友可以参考下
    2017-08-08
  • Tensorflow环境搭建的方法步骤

    Tensorflow环境搭建的方法步骤

    本篇文章主要介绍了Tensorflow环境搭建的方法步骤,小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2018-02-02

最新评论