基于opencv对高空拍摄视频消抖处理方法

 更新时间:2022年10月24日 10:07:05   作者:js君  
这篇文章主要介绍了基于opencv对高空拍摄视频消抖处理,首先对视频进行抽第一帧与最后一帧,为什么抽取两帧?这样做的主要目的是,我们在做帧对齐时,使用帧中静态物的关键点做对齐,需要的朋友可以参考下

一、问题背景

无人机在拍摄视频时,由于风向等影响因素,不可避免会出现位移和旋转,导致拍摄出的画面存在平移和旋转的帧间变换, 即“抖动” 抖动会改变目标物体 (车辆、行人) 的坐标,给后续的检测、跟踪任务引入额外误差,造成数据集不可用。

原效果

目标效果

理想的无抖动视频中,对应于真实世界同一位置的背景点在不同帧中的坐标应保持一致,从而使车辆、行人等目标物体的坐标变化只由物体本身的运动导致,而不包含相机的运动 抖动可以由不同帧中对应背景点的坐标变换来描述

二、量化指标

抖动可以用相邻帧之间的 x 方向平移像素 dx,y 方向平移像素 dy,旋转角度 da,缩放比例 s 来描述,分别绘制出 4 个折线图,根据折线图的走势可以判断抖动的程度 理想的无抖动视频中,dx、dy、da 几乎始终为 0,s 几乎始终为 1。

三、技术思路

我们最终实现,将视频的所有帧都对齐到第一帧,以达到视频消抖问题,实现逻辑如下图所示。

(1)首先对视频进行抽第一帧与最后一帧,为什么抽取两帧?这样做的主要目的是,我们在做帧对齐时,使用帧中静态物的关键点做对齐,如果特征点来源于动态物上,那么对齐后就会产生形变,我们选取第一帧与最后一帧,提取特征点,留下交集部分,则可以得到静态特征点我们这里称为特征模板,然后将特征模板应用到每一帧上,这样可以做有效对齐。

(2)常用特征点检测器:

SIFT: 04 年提出,广泛应用于各种跟踪和识别算法,表现能力强,但计算复杂度高。

SURF: 06 年提出,是 SIFT 的演进版本,保持强表现能力的同时大大减少了计算量。

BRISK: BRIEF 的演进版本,压缩了特征的表示,提高了匹配速度。 ORB: 以速度著称,是 SURF 的演进版本,多用于实时应用。

GFTT: 最早提出的 Harris 角点的改进版本,经常合称为 Harris-Shi-Tomasi 角点。

SimpleBlob: 使用 blob 的概念来抽取图像中的特征点,相对于角点的一种创新。 FAST: 相比其他方法特征点数量最多,但也容易得到距离过近的点,需要经过 NMS。

Star: 最初用于视觉测距,后来也成为一种通用的特征点检测方法。

我们这里使用的是SURF特征点检测器

第一帧特特征点提取​​​​​​

最后一帧特征点提取

(3)在上图中,我们发现所提取的特征点中部分来自于车身,由于车是运动的,所以我们不能使用,我们用第一帧与最后一帧做静态特帧点匹配,生成静态特征模板,在下图中,我们发现只有所有的特征点只选取在静态物上

静态特征点模板

(4)静态特征模板匹配 ,我们这里使用Flann算法,匹配结果如下

特征匹配

(5)使用匹配成功的两组特征点,估计两帧之间的透视变换 (Perspective Transformation)。估计矩阵 H,其中 (x_i, y_i) 和 (x_i^′, y_i^′) 分别是两帧的特征点。

第一帧

最后一帧对齐到第一帧

四、实现代码

运行环境以及版本,安装命令如下:
python版本:3.X
opencv-python:3.4.2.16
opencv-contrib-python:3.4.2.16

需要卸载之前的opencv-python版本
pip uninstall opencv-python
pip uninstall opencv-contrib-python
 
安装新的版本
pip install opencv_python==3.4.2.16 
pip install opencv-contrib-python==3.4.2.16

代码基于python实现,如下所示:

import cv2
import numpy as np
from tqdm import tqdm
import argparse
import os
 
# get param
parser = argparse.ArgumentParser(description='')
parser.add_argument('-v', type=str, default='')  # 指定输入视频路径位置(参数必选)
parser.add_argument('-o', type=str, default='')  # 指定输出视频路径位置(参数必选)
parser.add_argument('-n', type=int, default=-1)  # 指定处理的帧数(参数可选), 不设置使用视频实际帧
 
# eg: python3 stable.py -v=video/01.mp4 -o=video/01_stable.mp4 -n=100 -p=6
 
args = parser.parse_args()
 
input_path = args.v
output_path = args.o
number = args.n
 
class Stable:
    # 处理视频文件路径
    __input_path = None
 
    __output_path = None
 
    __number = number
 
    # surf 特征提取
    __surf = {
        # surf算法
        'surf': None,
        # 提取的特征点
        'kp': None,
        # 描述符
        'des': None,
        # 过滤后的特征模板
        'template_kp': None
    }
 
    # capture
    __capture = {
        # 捕捉器
        'cap': None,
        # 视频大小
        'size': None,
        # 视频总帧
        'frame_count': None,
        # 视频帧率
        'fps': None,
        # 视频
        'video': None,
    }
 
    # 配置
    __config = {
        # 要保留的最佳特征的数量
        'key_point_count': 5000,
        # Flann特征匹配
        'index_params': dict(algorithm=0, trees=5),
        'search_params': dict(checks=50),
        'ratio': 0.5,
    }
 
    # 特征提取列表
    __surf_list = []
 
    def __init__(self):
        pass
 
    # 初始化capture
    def __init_capture(self):
        self.__capture['cap'] = cv2.VideoCapture(self.__video_path)
        self.__capture['size'] = (int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_WIDTH)),
                                  int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_HEIGHT)))
 
        self.__capture['fps'] = self.__capture['cap'].get(cv2.CAP_PROP_FPS)
 
        self.__capture['video'] = cv2.VideoWriter(self.__output_path, cv2.VideoWriter_fourcc(*"mp4v"),
                                                  self.__capture['fps'], self.__capture['size'])
 
        self.__capture['frame_count'] = int(self.__capture['cap'].get(cv2.CAP_PROP_FRAME_COUNT))
 
        if number == -1:
            self.__number = self.__capture['frame_count']
        else:
            self.__number = min(self.__number, self.__capture['frame_count'])
 
    # 初始化surf
    def __init_surf(self):
 
        self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, 0)
        state, first_frame = self.__capture['cap'].read()
 
        self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, self.__capture['frame_count'] - 1)
        state, last_frame = self.__capture['cap'].read()
 
        self.__surf['surf'] = cv2.xfeatures2d.SURF_create(self.__config['key_point_count'])
 
        self.__surf['kp'], self.__surf['des'] = self.__surf['surf'].detectAndCompute(first_frame, None)
        kp, des = self.__surf['surf'].detectAndCompute(last_frame, None)
 
        # 快速临近匹配
        flann = cv2.FlannBasedMatcher(self.__config['index_params'], self.__config['search_params'])
        matches = flann.knnMatch(self.__surf['des'], des, k=2)
 
        good_match = []
        for m, n in matches:
            if m.distance < self.__config['ratio'] * n.distance:
                good_match.append(m)
 
        self.__surf['template_kp'] = []
        for f in good_match:
            self.__surf['template_kp'].append(self.__surf['kp'][f.queryIdx])
 
    # 释放
    def __release(self):
        self.__capture['video'].release()
        self.__capture['cap'].release()
 
    # 处理
    def __process(self):
 
        current_frame = 1
 
        self.__capture['cap'].set(cv2.CAP_PROP_POS_FRAMES, 0)
 
        process_bar = tqdm(self.__number, position=current_frame)
 
        while current_frame <= self.__number:
            # 抽帧
            success, frame = self.__capture['cap'].read()
 
            if not success: return
 
            # 计算
            frame = self.detect_compute(frame)
 
            # 写帧
            self.__capture['video'].write(frame)
 
            current_frame += 1
 
            process_bar.update(1)
 
    # 视频稳像
    def stable(self, input_path, output_path, number):
        self.__video_path = input_path
        self.__output_path = output_path
        self.__number = number
 
        self.__init_capture()
        self.__init_surf()
        self.__process()
        self.__release()
 
    # 特征点提取
    def detect_compute(self, frame):
 
        frame_gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
 
        # 计算特征点
        kp, des = self.__surf['surf'].detectAndCompute(frame_gray, None)
 
        # 快速临近匹配
        flann = cv2.FlannBasedMatcher(self.__config['index_params'], self.__config['search_params'])
        matches = flann.knnMatch(self.__surf['des'], des, k=2)
 
        # 计算单应性矩阵
        good_match = []
        for m, n in matches:
            if m.distance < self.__config['ratio'] * n.distance:
                good_match.append(m)
 
        # 特征模版过滤
        p1, p2 = [], []
        for f in good_match:
            if self.__surf['kp'][f.queryIdx] in self.__surf['template_kp']:
                p1.append(self.__surf['kp'][f.queryIdx].pt)
                p2.append(kp[f.trainIdx].pt)
 
        # 单应性矩阵
        H, _ = cv2.findHomography(np.float32(p2), np.float32(p1), cv2.RHO)
 
        # 透视变换
        output_frame = cv2.warpPerspective(frame, H, self.__capture['size'], borderMode=cv2.BORDER_REPLICATE)
 
        return output_frame
 
if __name__ == '__main__':
 
    if not os.path.exists(input_path):
        print(f'[ERROR] File "{input_path}" not found')
        exit(0)
    else:
        print(f'[INFO] Video "{input_path}" stable begin')
 
    s = Stable()
    s.stable(input_path, output_path, number)
 
    print('[INFO] Done.')
    exit(0)

参数说明:

-v 指定输入视频路径位置(参数必选)

-o 指定输出视频路径位置(参数必选)

-n 指定处理的帧数(参数可选), 不设置使用视频实际帧

调用示例:

python3 stable.py -v=test.mp4 -o=test_stable.mp4

五、效果展示

我们消抖后的视频道路完全没有晃动,但是在边界有马赛克一样的东西,那是因为图片对齐后后出现黑边,我们采用边缘点重复来弥补黑边。

消抖前

消抖后

六、效率优化

目前的处理效率(原视频尺寸3840*2160),我们可以看出主要时间是花费在特征点(key)提取上。
可以采用异步处理+GPU提高计算效率

处理效率

到此这篇关于基于opencv对高空拍摄视频消抖处理的文章就介绍到这了,更多相关opencv视频消抖内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家!

相关文章

  • Python谱减法语音降噪实例

    Python谱减法语音降噪实例

    今天小编就为大家分享一篇Python谱减法语音降噪实例,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧
    2019-12-12
  • 玩数据必备Python库之numpy使用详解

    玩数据必备Python库之numpy使用详解

    NumPy提供了许多高级的数值编程工具,如矩阵数据类型、矢量处理,以及精密的运算库,下面这篇文章主要给大家介绍了关于玩数据必备Python库之numpy使用的相关资料,需要的朋友可以参考下
    2022-02-02
  • Python利用socket模块开发简单的端口扫描工具的实现

    Python利用socket模块开发简单的端口扫描工具的实现

    这篇文章主要介绍了Python利用socket模块开发简单的端口扫描工具的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧
    2021-01-01
  • python爬虫 execjs安装配置及使用

    python爬虫 execjs安装配置及使用

    这篇文章主要介绍了python爬虫 execjs安装配置及使用,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
    2019-07-07
  • 在 Python 中解析 ISO 8601 日期的详细过程

    在 Python 中解析 ISO 8601 日期的详细过程

    这篇文章主要介绍了在 Python 中解析 ISO 8601 日期,我们将讨论典型的 ISO 8601 日期的结构,并向您展示如何将典型的 DateTime 对象解析为可以在所有地方使用的标准化 DateTime,需要的朋友可以参考下
    2023-08-08
  • 快速进修Python指南之控制if-else循环技巧

    快速进修Python指南之控制if-else循环技巧

    这篇文章主要为大家介绍了Java开发者的Python快速进修指南之控制之if-else和循环技巧示例详解,有需要的朋友可以借鉴参考下,希望能够有所帮助,祝大家多多进步,早日升职加薪
    2023-12-12
  • Python的Random库的使用方法详解

    Python的Random库的使用方法详解

    这篇文章主要介绍了Python的Random库的使用方法详解,random库是使用随机数的Python标准库,python中用于生成伪随机数的函数库是random,需要的朋友可以参考下
    2023-07-07
  • Python中的闭包

    Python中的闭包

    这篇文章主要介绍了Python中的闭包,闭包在函数中提出的概念,简单来说就是一个函数定义中引用了函数外定义的变量,并且该函数可以在其定义环境外被执行。这样的一个函数我们称之为闭包,下面我们一起来看看文章内容的具体介绍
    2021-11-11
  • Python实现KNN(K-近邻)算法的示例代码

    Python实现KNN(K-近邻)算法的示例代码

    这篇文章主要介绍了Python实现KNN(K-近邻)算法的示例代码,它主要用于对事物进行分类。小编觉得挺不错的,现在分享给大家,也给大家做个参考。一起跟随小编过来看看吧
    2019-03-03
  • IPython库中的display函数的简介、使用方法、应用案例详细攻略

    IPython库中的display函数的简介、使用方法、应用案例详细攻略

    display 函数可以接受一个或多个参数,每个参数都是一个 Python 对象。它会自动根据对象的类型选择合适的显示方式,并在 Jupyter Notebook 中显示出来,这篇文章主要介绍了IPython库中的display函数的简介、使用方法、应用案例详细攻略,需要的朋友可以参考下
    2023-04-04

最新评论