DrissionPage Web自动化操作集成工具 v4.0.2

DrissionPage，即 driver 和 session 组合而成的 page。是个基于 python 的 Web 自动化操作集成工具。

它用 POM 模式封装了页面和元素常用的方法，自带一套简洁直观优雅的元素定位语法，实现了浏览器和 requests 之间的无缝切换，可兼顾浏览器自动化的便利性和 requests 的高效率，更棒的是，它的使用方式非常简洁和人性化，代码量少，对新手友好。

背景

用 requests 做数据采集面对要登录的网站时，要分析数据包、JS 源码，构造复杂的请求，往往还要应付验证码、JS 混淆、签名参数等反爬手段，门槛较高。若数据是由 JS 计算生成的，还须重现计算过程，体验不好，开发效率不高。

使用浏览器，可以很大程度上绕过这些坑，但浏览器运行效率不高。因此，这个库将它们合而为一，不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。

除了合并两者，本库还以网页为单位封装了常用功能，提供非常简便的操作和语句，在用于网页自动化操作时，减少考虑细节，专注功能实现，使用更方便。

一切从简，尽量提供简单直接的使用方法，对新手更友好。

特性和亮点

作者踩过无数坑，总结出的经验全写到这个库里了。内置了 N 多实用功能，对常用功能作了整合和优化。

特性

1、代码高度集成，以简洁的代码为第一追求。

2、页面对象可在浏览器和 requests 间任意切换，保留登录状态。

3、极简单但强大的元素定位语法，支持链式操作，代码极其简洁。

4、两种模式提供一致的 API，使用体验一致。

5、人性化设计，集成众多实用功能，大大降低开发工作量。

亮点功能

1、每次运行程序可以反复使用已经打开的浏览器。如手动设置网页到某个状态，再用程序接管，或手动处理登录，再用程序爬内容。无须每次运行从头启动浏览器，超级方便。

2、使用 ini 文件保存常用配置，自动调用，也提供便捷的设置 API，远离繁杂的配置项。

3、极致简明的定位语法，支持直接按文本定位元素，支持直接获取前后兄弟元素和父元素等。

4、强大的下载工具，操作浏览器时也能享受快捷可靠的下载功能。

5、下载工具支持多种方式处理文件名冲突、自动创建目标路径、断链重试等。

6、访问网址带自动重试功能，可设置间隔和超时时间。

7、访问网页能自动识别编码，无须手动设置。

8、链接参数默认自动生成Host和Referer属性。

9、可随时直接隐藏或显示浏览器进程窗口，非 headless 或最小化。

10、可自动下载合适版本的 chromedriver，免去麻烦的配置。

11、d 模式查找元素内置等待，可任意设置全局等待时间或单次查找等待时间。

12、点击元素集成 js 点击方式，一个参数即可切换点击方式。

13、点击支持失败重试，可用于保证点击成功、判读网页遮罩层是否消失等。

14、输入文本能自动判断是否成功并重试，避免某些情况下输入或清空失效的情况。

15、d 模式下支持全功能的 xpath，可直接获取元素的某个属性，selenium 原生无此功能。

16、支持直接获取shadow-root，和普通元素一样操作其下的元素。

17、支持直接获取after和before伪元素的内容。

18、可以在元素下直接使用 > 以 css selector 方式获取当前元素直接子元素。原生不支持这种写法。

19、可简单地使用 lxml 来解析 d 模式的页面或元素，爬取复杂页面数据时速度大幅提高。

20、输出的数据均已转码及处理基本排版，减少重复劳动。

21、可方便地与 selenium 或 requests 原生代码对接，便于项目迁移。

22、使用 POM 模式封装，可直接用于测试，便于扩展。

23、d 模式配置可同时兼容debugger_address和其它参数，原生不能兼容。

24、还有很多这里不一一列举…………

 当前版本

更新内容

推出WebPage，重新开发底层逻辑，摆脱对 selenium 的依赖，增强了功能，提升了运行效率。支持 chromium 内核的浏览器（如 chrome 和 edge）。比MixPage有以下优点：

无 webdriver 特征，不会被网站识别

无需为不同版本的浏览器下载不同的驱动

运行速度更快

可以跨 iframe 查找元素，无需切入切出

把 iframe 看作普通元素，获取后可直接在其中查找元素，逻辑更清晰

可以同时操作浏览器中的多个标签页，即使标签页为非激活状态

可以直接读取浏览器缓存来保持图片，无需用 GUI 点击保存

可以对整个网页截图，包括视口外的部分（90以上版本浏览器支持）

其它更新：

增加ChromiumTab和ChromiumFrame类用于处理 tab 和 frame 元素

新增与WebPage配合的动作链接ActionChains

浏览器启动配置实现对插件的支持

浏览器启动配置实现对experimental_options的prefs属性支持

用存根文件取代类型注解

其它优化和问题修复

v4.0.2

在3.2基础上加入大量功能，重构底层。