python如何查找图片按钮的坐标位置

更新时间：2022年11月29日 17:26:02 作者：孤芳不自赏

这篇文章主要介绍了python如何查找图片按钮的坐标位置，具有很好的参考价值，希望对大家有所帮助。如有错误或未考虑完全的地方，望不吝赐教

python查找图片按钮的坐标位置

因为业务需求，了解到一些python自动化的内容，其中有类似于airtest截图点击的东西。

本来是想使用pyautogui来实现获取图片坐标的功能，但是pyautogui对于小尺寸的图片识别不准确，或者说是识别不到，一番查找之下，发现另一个工具，做了封装如下。

1，使用pyaut

x, y=pyautogui.locateCenterOnScreen("img_path")
# 如果查找到值，会返回坐标的元组，找不到返回None。上面的写法会报错
print(x, y)
pyautogui.click(x,y)
# 点击操作

2，使用aircv

def matchImg(imgobj,confidence=0.7):
	"""
		imgobj:待查找的图片
		confidence:最低相似度
	"""
	# 截取桌面操作，写入内存中，不必每次都保存实体图片
    screenshotIm = screenshot(region=None)
    desktop = np.array(screenshotIm)
    imobj = ac.imread(imgobj)
 
   return ac.find_template(desktop ,imobj,confidence)  
if __name__ == "__main__":
    imgobj = 'img_path'
    print(matchImg(imgsrc,imgobj,confidencevalue))

返回值包含桌面大小，中心点，和待查询图片的四角坐标。否则为None

读取图片区域坐标的方法记录

首先是导入需要使用的库：

import cv2
import time
import win32gui, win32ui, win32con
import os

1、然后是获取需要的图片或者无需获取，已有图片。（可通过直接截取图片）

'''1、窗口截图，直接获取当前最前面的全屏幕截图'''
def window_capture(filename,w=1920,h=1080):
    hwnd = 0  # 窗口的编号，0号表示当前活跃窗口
    # 根据窗口句柄获取窗口的设备上下文DC（Divice Context）
    hwndDC = win32gui.GetWindowDC(hwnd)
    # 根据窗口的DC获取mfcDC
    mfcDC = win32ui.CreateDCFromHandle(hwndDC)
    # mfcDC创建可兼容的DC
    saveDC = mfcDC.CreateCompatibleDC()
    # 创建bigmap准备保存图片
    saveBitMap = win32ui.CreateBitmap()
    # 为bitmap开辟空间
    saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
    # 高度saveDC，将截图保存到saveBitmap中
    saveDC.SelectObject(saveBitMap)
    # 截取从左上角（0，0）长宽为（w，h）的图片
    saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
    saveBitMap.SaveBitmapFile(saveDC, filename)
    return True

2、将获取的图片路径，传递给识别图片坐标的函数。

g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0]     #设置初始值获取的坐标
def startRoi(path):
    cv2.namedWindow("IMG_Show", 0)            # 创建画布
    cv2.resizeWindow("IMG_Show", 1920, 1080)  # 设置长和宽
    cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
    # 按"Esc"退出
    print("如果想要退出窗口，点击按钮 ESC,退出窗口...")
    while cv2.waitKey(30) != 27:             #监听事件
        global frame
        frame = cv2.imread(path,cv2.IMREAD_COLOR)  #读取图片数据
        # 画矩形
        '''
        由（x_min，x_max）组成，为绘制的边框的左上角；
        (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
        (0, 0, 255):指定边框的颜色，由（B,G,R）组成，当为（255,0，0）时为绿色，可以自由设定；
        1:线条的粗细值，为正值时代表线条的粗细（以像素为单位）
        '''
        cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
        cv2.imshow("IMG_Show", frame)
    # cv2.destroyWindow("IMG_Show")

'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x，y坐标
flags:  cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y： 发生鼠标事件时鼠标在图像位置的x，y坐标
def onMouse(event, x, y, flags, param):
    global clicked
    global g_rectangle
    global g_startPoint

    if event == cv2.EVENT_MOUSEMOVE:  # 滑动
        if clicked == True:
            #当鼠标点击时，打印一下信息
            g_rectangle[0] = g_startPoint[0]
            g_rectangle[1] = g_startPoint[1]
            #实时获取，对应变化后的x，y坐标
            g_rectangle[2] =  x
            g_rectangle[3] =  y
            print("坐标:%s" % g_rectangle)
    # 左键按下事件
    if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
        #获取鼠标第一时间点击的坐标
        g_startPoint[0] = x
        g_startPoint[1] = y
        clicked = True
    # 左键弹起事件
    if event == cv2.EVENT_LBUTTONUP:   # 左键放开
        print("====================选中框的坐标：===========================")
        print("矩形框左上角坐标：")
        print(g_rectangle[0], g_rectangle[1])
        print("矩形框右下角坐标：")
        print(g_rectangle[2], g_rectangle[3])
        print("矩形框宽度：")
        print(g_rectangle[2]-g_rectangle[0])
        print("矩形框高度：")
        print(g_rectangle[3]-g_rectangle[1])
        clicked = False

3、通过画布显示，在上面可以进行画框，自动识别出图片区域的坐标。（如下图）

4、全部代码展示：

'''
读取图片的坐标
'''
import cv2
import time
import win32gui, win32ui, win32con
import os

'''1、窗口截图'''
def window_capture(filename,w=1920,h=1080):
    hwnd = 0  # 窗口的编号，0号表示当前活跃窗口
    # 根据窗口句柄获取窗口的设备上下文DC（Divice Context）
    hwndDC = win32gui.GetWindowDC(hwnd)
    # 根据窗口的DC获取mfcDC
    mfcDC = win32ui.CreateDCFromHandle(hwndDC)
    # mfcDC创建可兼容的DC
    saveDC = mfcDC.CreateCompatibleDC()
    # 创建bigmap准备保存图片
    saveBitMap = win32ui.CreateBitmap()
    # 为bitmap开辟空间
    saveBitMap.CreateCompatibleBitmap(mfcDC, w, h)
    # 高度saveDC，将截图保存到saveBitmap中
    saveDC.SelectObject(saveBitMap)
    # 截取从左上角（0，0）长宽为（w，h）的图片
    saveDC.BitBlt((0, 0), (w, h), mfcDC, (0, 0), win32con.SRCCOPY)
    saveBitMap.SaveBitmapFile(saveDC, filename)
    return True


g_rectangle = [0, 0, 0, 0] #设置初始值坐标
clicked = False
g_startPoint = [0, 0]
def startRoi(path):
    cv2.namedWindow("IMG_Show", 0)            # 创建画布
    cv2.resizeWindow("IMG_Show", 1920, 1080)  # 设置长和宽
    cv2.setMouseCallback("IMG_Show", onMouse) # 连接鼠标
    # 按"Esc"退出
    print("如果想要退出窗口，点击按钮 ESC,退出窗口...")
    while cv2.waitKey(30) != 27:             #监听事件
        global frame
        frame = cv2.imread(path,cv2.IMREAD_COLOR)  #读取图片数据
        # 画矩形
        '''
        由（x_min，x_max）组成，为绘制的边框的左上角；
        (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]):设置为绘制的边框的左上角和绘制的边框的右下角
        (0, 0, 255):指定边框的颜色，由（B,G,R）组成，当为（255,0，0）时为绿色，可以自由设定；
        1:线条的粗细值，为正值时代表线条的粗细（以像素为单位）
        '''
        cv2.rectangle(frame, (g_rectangle[0], g_rectangle[1]), (g_rectangle[2], g_rectangle[3]), (0, 0, 255), 2)
        cv2.imshow("IMG_Show", frame)
    # cv2.destroyWindow("IMG_Show")

'''
event:当前发生的鼠标事件类型
x和y:发生鼠标事件时鼠标在图像位置的x，y坐标
flags:  cv2_EVENT_FLAG_* (MouseEventFlags)类型的变量
param: 自定义的传递给 setMouseCallback 函数调用的参数
'''
# x和y： 发生鼠标事件时鼠标在图像位置的x，y坐标
def onMouse(event, x, y, flags, param):
    global clicked
    global g_rectangle
    global g_startPoint

    if event == cv2.EVENT_MOUSEMOVE:  # 滑动
        if clicked == True:
            #当鼠标点击时，打印一下信息
            g_rectangle[0] = g_startPoint[0]
            g_rectangle[1] = g_startPoint[1]
            #实时获取，对应变化后的x，y坐标
            g_rectangle[2] =  x
            g_rectangle[3] =  y
            print("坐标:%s" % g_rectangle)
    # 左键按下事件
    if event == cv2.EVENT_LBUTTONDOWN: # 左键点击
        #获取鼠标第一时间点击的坐标
        g_startPoint[0] = x
        g_startPoint[1] = y
        clicked = True
    # 左键弹起事件
    if event == cv2.EVENT_LBUTTONUP:   # 左键放开
        print("====================选中框的坐标：===========================")
        print("矩形框左上角坐标：")
        print(g_rectangle[0], g_rectangle[1])
        print("矩形框右下角坐标：")
        print(g_rectangle[2], g_rectangle[3])
        print("矩形框宽度：")
        print(g_rectangle[2]-g_rectangle[0])
        print("矩形框高度：")
        print(g_rectangle[3]-g_rectangle[1])
        clicked = False

if __name__ == '__main__':
    path = r"./save_img/jietu.jpg"
    if not os.path.isdir:
        os.mkdir(path)
    ret =  window_capture(filename=path)
    time.sleep(0.2)
    if ret == True:
        startRoi(path)

以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。

您可能感兴趣的文章:

教你使用Python提取视频中的美女图片
这篇文章主要介绍了教你使用Python提取视频中的美女图片,使用 Python 写一个逐帧无损保存视频画面的小脚本，大概分为三个步骤，详细过程跟随小编一起看看吧
2022-04-04
python的scipy.stats模块中正态分布常用函数总结
在本篇内容里小编给大家整理的是一篇关于python的scipy.stats模块中正态分布常用函数总结内容，有兴趣的朋友们可以学习参考下。
2021-02-02
Sentry的安装、配置、使用教程(Sentry日志手机系统)
Sentry 是一个实时事件日志记录和聚合平台，由于ExceptionLess官方提供的客户端只有.Net/.NetCore平台和js的，本文继续介绍另一个日志收集系统Sentry，感兴趣的朋友一起看看吧
2022-07-07
html网页调用后端python代码的方法实例
html页面中确实能够调用python程序,不过只能调“一点点”,下面这篇文章主要给大家介绍了关于html网页调用后端python代码的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下
2023-01-01
Python数据分析之matplotlib绘图详解
这篇文章主要为大家详细介绍了Python数据分析之如何利用matplotlib进行绘图，文中的示例代码讲解详细，感兴趣的小伙伴可以了解一下
2022-09-09
python ChainMap 合并字典的实现步骤
这篇文章主要介绍了python ChainMap 合并字典的实现步骤，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
2019-06-06
Python数据分析 Pandas Series对象操作
这篇文章主要介绍了Python数据分析之Pandas Series对象,文章基于python的相关资料展开详细内容介绍，具有一定的参考价值，需要的小伙伴可以参考一下
2022-05-05
详解python使用Nginx和uWSGI来运行Python应用
这篇文章主要介绍了详解python使用Nginx和uWSGI来运行Python应用，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
2018-01-01
一百行python代码将图片转成字符画
这篇文章主要为大家详细介绍了一百行python代码将图片转成字符画，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
2018-11-11
对于Python中线程问题的简单讲解
这篇文章主要介绍了对于Python中线程问题的简单讲解,线程一直是Python编程当中的热点问题,而本文没有涉及GIL线程锁方面的内容,需要的朋友可以参考下
2015-04-04