使用python实现一个浏览器自动化的脚本

 更新时间:2024年04月29日 10:34:22   作者:进阶的小叮当  
最近工作中有这样一个需求:客户反馈在浏览器操作过程中,重复流程操作太频繁,能不能让浏览器自动操作完成?所以本文给大家介绍了如何使用python实现一个浏览器自动化的脚本,感兴趣的朋友可以参考下

背景

最近工作中有这样一个需求:客户反馈在浏览器操作过程中,重复流程操作太频繁,能不能让浏览器自动操作完成?

在我的认知中,浏览器就是一个用来浏览页面的工具,因此第一反应就是“不可能!绝对不可能!”。领导说,你了解过RPA吗?会后专门查阅了相关资料,在我的理解中,RPA就是一个定制化机器人(脚本流程),通过控制脚本操作显示器,来模拟用户操作的过程。

开始

一开始的时候,我在github上面找了一些开源的项目,例如:PyRPA、RPA-Python、TagUI、openrpa等,但是因为定制化比较强,后期不知道会变成怎么样,因此做的要灵活一些。但是在这些开源项目中,提供了一部分的api,但是在有些地方并不是很容易操作,感觉后面可能会不可控。

但是在我观察中发现,大多数的实现都是通过python实现的,作为一个前端,第一反应就是,为什么不用node和js结合呢,最后反应过来,使用python可以操作整个PC,但是如果你使用node或js,只能说操作浏览器更方便一些了(其实和python差不多),只是python在使用第三方库时候,会存在一定程度的延时。

因此,我决定放弃现有的RPA的项目,自己实现一个自动化的python脚本。

语言选择

关于我为什么选择的python作为语言,其实在前面已经说过了,作为一个前端开发,其实最熟悉的莫过于javascript,另加一些nodejs,那么为什么我没有用nodejs呢?node在前端开发过程中,常常扮演着一个环境的角色,虽然也可以作为一个后端语言来写一些接口或服务(依赖于第三方库),但是很少用到DOM的操作,操作浏览器的DOM,我们通常来说,都是使用js直接操作,或使用jquery等第三方工具。如果要再直接去拦截系统的一些操作,js就不太行了。

因此,采取了python,这一门热度一直很高的语言。主要思路就是,图片的对比,获取点位,模拟用户鼠标,键盘等操作。

浏览器的启动

其实这个启动浏览器,一开始我只是单纯的打开浏览器,但是后面发现,每天第一次启动的时候,都会特别慢,查阅资料也没有找到原因,好像是缓存被清空了吧,网上找了大量的相关资料,最终找到了一个方案:加载时候启动指定驱动程序(浏览器版本驱动程序需要对应),指定版本浏览器下载新版驱动下载114版本前驱动下载,有一部分页面需要科学上网才能访问与下载,建议大家科学上网昂。

一个启动浏览器的demo,这里的driver我在后续就不就行重复的定义了,直接使用了,例如:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service

driver = webdriver.Chrome(service=Service(r"C:\\tb2Lot\\driver\\chromedriver.exe"))
driver.maximize_window()
driver.execute_script("document.charset='utf-8';")
driver.get("http://www.baidu.com")

这时候我们就已经可以打开浏览器,并操作浏览器调取到百度的页面了,我们想在百度的页面输入并搜索指定内容怎么办呢?这时候我们就需要获取页面的元素节点,然后进行输入了,下面我们来看一下如何在浏览器搜索吧!

在百度进行搜索的方案

首先我们先列举一下目前能够想到的两个方案:

  • 从页面抓取页面元素路径,然后直接点击元素;
  • 整个页面截图,再截取需要点击的小图片,获取需要点击的图片的坐标,点击坐标;

这两种方案对于简单的操作都是可行的,复杂一些的,会出现一些问题,我们先看一下两种方案分别怎么进行操作,然后再来分析一下会遇见怎样的问题吧!

页面抓取元素,直接点击:

import pyautogui
import pyperclip
import time
from selenium.webdriver.common.by import By

def cvEnter(msg):
    pyperclip.copy(msg)
    time.sleep(1)
    pyautogui.hotkey('ctrl','v')
    time.sleep(1)
    pyautogui.hotkey('enter') #回车搜索
    
#driver的定义在本文最上面,这里没有重复写
#...
cvEnter("稀土掘金")
driver.find_element(By.XPATH,r'//*[@id="su"]').click() #通过浏览器的xpath触发点击事件
time.sleep(2)
driver.find_element(By.XPATH,r'//*[@id="kw"]').clear() #清除输入框
driver.find_element(By.XPATH,r'//*[@id="kw"]').send_keys('稀土掘金官网') #输入框输入数据
pyautogui.hotkey('enter')
time.sleep(5)

在上面,其实我们已经使用了两种输入与搜索的方式:

输入

  • 方式一:通过粘贴板,直接进行“c+v”;
  • 方式二:借助python浏览器的driver的send_keys方法,直接键入;

搜索(这里是回车和点击实现的都是搜索)

  • 方式一:使用pyautogui的键盘热键触发
  • 方式二:借助python浏览器的driver获取浏览器元素,触发该元素的click事件;

通过图片的对比,获取点位进行点击

import pyautogui
import cv2

def getPosiXY(img):
    pyautogui.screenshot('./pics/screen.png') #显示完成之后,截图
    screen = cv2.imread('./pics/screen.png') #加载全屏截图
    current = cv2.imread(f'./tb2lot_pic/{img}') #加载比对的图片
    result = cv2.matchTemplate(screen, current, cv2.TM_CCOEFF_NORMED) #在screen中寻找current的点位
    pos_start = cv2.minMaxLoc(result)[3]
    x = int(pos_start[0]) + int(current.shape[1]/2)
    y = int(pos_start[1]) + int(current.shape[0]/2)
    return x,y
    
pointX, pointY = getPosiXY("query_btn.png")
pyautogui.click(pointX, pointY)

在上面的demo中,我们借助cv2库,实现了一个简单的大图中寻找小图的功能,这里在获取之前自动截图保存到指定目录,小图的名称作为参数,传递到封装的方法中,抓取点位信息,再点击获取到的坐标位置。因为我们抓取的坐标点,因此如果点击的输入框,输入框粘贴数据,就需要直接通过粘贴板进行粘贴了。

为什么我们前面说抓取元素会有问题呢?

首先我们最理想的元素抓取就是,都在一个html中,没有动态的元素,没有切换界面,没有切换弹窗等,但是在实际的应用过程中,往往都是比较复杂的,例如:

  • vue打包的html(元素的id不是固定的,有时候元素节点渲染的问题,嵌套可能有点区别);
  • html嵌套了iframe(直接切换了代码引用的窗口,后面都统一叫做句柄);
  • 选择框的元素,展开和关闭不一致;
  • ...

以上的问题,都会导致直接抓取元素xpath直接调取时候报错,难道我们就真的不能用xpath进行操作了吗?答案当然是否定的,但是也不是完全,例如在iframe中,我们可以切换句柄,来达到代码引用模块的更换,例如:

#driver的定义在本文最上面,这里没有重复写  
#...
iframeSrc = driver.find_element(By.XPATH,r'/html/body/div/iframe')
driver.switch_to.frame(iframeSrc) # 切换句柄到iframe
#driver.switch_to.default_content() #切换到默认的句柄
driver.find_element(By.XPATH,r'/html/body/form/div/input').click()

这样看来,我们iframe也是可以抓取到元素的,不过要等待页面渲染完成之后再去抓取,否则还是会报错的。其余的两个,因为元素是动态的,如果只是id的问题的话,我们可以使用full xpath进行抓取,但是如果元素嵌套都有可能变化的话,就只能采取截图比对的方式了。

此外,我们也再添加一段代码,比如开启浏览器两个标签页的时候与标签页之间的切换怎么处理:

driver.get("http://www.baidu.com") #打开标签1
driver.execute_script("window.open('http://www.baidu.com');") #打开标签2
driver.switch_to.window(driver.window_handles[0]) # 手动切换到标签1

最后

其实到这里,python简单的控制浏览器就已经结束了,其实图片的对比不局限于浏览器,它可以截取PC的屏幕上的所有,因此也可以模拟APP的操作,但是我们在调取的过程中,常常会报错,但是如果打包成了exe文件,我们并不知道报的什么错,因此我们也可以在最外层加上try-except,如果检测到报错,我们可以将报错内容记录在txt中,模拟日志的效果,例如:

from datetime import datetime, timedelta

try:
    # some codes
except Exception as e:
    now = datetime.now()
    date_time = now.strftime("%Y-%m-%d %H:%M:%S")
    data_to_append = f"{date_time}\n{e}\n\n"
    with open('C:\\logs\\error.txt', 'a') as file:
        file.write(data_to_append)
    print("Error!", e)
    driver.quit()
    raise ValueError("Error!")

最后打开预览报错信息,例如:

代码

import pyautogui
import pyperclip
import time
from selenium.webdriver.common.by import By
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from datetime import datetime, timedelta

def cvEnter(msg):
    pyperclip.copy(msg)
    time.sleep(1)
    pyautogui.hotkey('ctrl','v')
    time.sleep(1)
    pyautogui.hotkey('enter')

try:
    driver = webdriver.Chrome(service=Service(r"C:\\pyExe\\driver\\chromedriver.exe")) #驱动写在最上面
    driver.maximize_window()
    driver.execute_script("document.charset='utf-8';")
    driver.get("http://www.baidu.com")
    driver.implicitly_wait(10)

    cvEnter("稀土掘金")
    driver.find_element(By.XPATH,r'//*[@id="su"]').click() #通过浏览器的xpath触发点击事件、
    time.sleep(2)
    driver.find_element(By.XPATH,r'//*[@id="kw"]').clear()
    driver.find_element(By.XPATH,r'//*[@id="kw"]').send_keys('稀土掘金官网')
    pyautogui.hotkey('enter')
    time.sleep(5)
except Exception as e:
    now = datetime.now()
    date_time = now.strftime("%Y-%m-%d %H:%M:%S")
    data_to_append = f"{date_time}\n{e}\n\n"
    with open('C:\\pyExe\\logs\\error.txt', 'a') as file:
        file.write(data_to_append)
    print("Error!", e)
    driver.quit()
    raise ValueError("Error!")

代码打包

pyinstaller --onefile --noconsole --icon ./favorite.ico ./index.py
# --noconsole 隐藏黑窗口
# --icon ./favorite.ico 打包后的应用图标(路径选对,仅支持ico)
# ./index.py 需要打包的py文件路径

有时候打包完图标没有变化,是默认的图标,可以查看属性,属性中应该是已经有了的,这是因为应用缓存的原因,刷新一下应用程序即可。

重中之重!!!

打包完成之后,将打包后的dist/index.exe文件,移到之前index.py同级目录下,因为如果涉及到图片的比对,会导致图片的位置访问失败。

以上就是使用python实现一个浏览器自动化的脚本的详细内容,更多关于python浏览器自动化的资料请关注脚本之家其它相关文章!

相关文章

  • python 实现mysql自动增删分区的方法

    python 实现mysql自动增删分区的方法

    这篇文章主要介绍了python 实现mysql自动增删分区的方法,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-04-04
  • python使用requests模块实现爬取电影天堂最新电影信息

    python使用requests模块实现爬取电影天堂最新电影信息

    这篇文章主要介绍了python使用requests模块实现爬取电影天堂最新电影信息,本文通过实例代码给大家介绍了str/list/tuple三者之间怎么相互转换,需要的朋友可以参考下
    2019-04-04
  • 详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

    详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案

    这篇文章主要介绍了详解Python中的GIL(全局解释器锁)详解及解决GIL的几种方案,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • python中Array和DataFrame相互转换的实例讲解

    python中Array和DataFrame相互转换的实例讲解

    在本篇文章里小编给大家整理的是一篇关于python中Array和DataFrame相互转换的实例讲解内容,对此有需要的朋友们可以学参考下。
    2021-02-02
  • 利用Python中的内置open函数读取二进制文件

    利用Python中的内置open函数读取二进制文件

    这篇文章主要介绍了利用Python实现读取二进制文件,文章尝试使用Python中的内置open函数使用默认读取模式读取zip文件,下文详细介绍,需要的小伙伴可以参考一下
    2022-05-05
  • Python实现随机漫步的详细过程

    Python实现随机漫步的详细过程

    随机漫步顾名思义每一步都是随机的,假设有一个点,下一步往哪里走,走多远,这些都没有明确的表示,完全是随机的,最后走到哪里,是由一系列随机决策决定的,这篇文章主要给大家介绍了关于Python实现随机漫步的相关资料,需要的朋友可以参考下
    2023-03-03
  • Python bisect模块原理及常见实例

    Python bisect模块原理及常见实例

    这篇文章主要介绍了Python bisect模块原理及常见实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2020-06-06
  • 利用Python暴力破解zip文件口令的方法详解

    利用Python暴力破解zip文件口令的方法详解

    这篇文章主要给大家介绍了关于利用Python暴力破解zip文件口令的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧。
    2017-12-12
  • selenium鼠标操作实战案例详解

    selenium鼠标操作实战案例详解

    在实际场景中,会有单击、长时间单击、双击、右键、拖拽等鼠标操作,selenium提供了名为ActionChains的类来处理这些操作,下面这篇文章主要给大家介绍了关于selenium鼠标操作实战案例的相关资料,需要的朋友可以参考下
    2023-05-05
  • python中的map函数语法详解

    python中的map函数语法详解

    map是python内置函数,会根据提供的函数对指定的序列做映射,这篇文章主要介绍了python中的map函数语法详解,本文通过示例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下
    2022-03-03

最新评论