脚本之家 服务器常用软件
快捷导航
您的位置：首页 → 软件编程 → C 语言 → C++ ffmpeg视频帧转图片

C++ ffmpeg实现将视频帧转换成jpg或png等图片

 更新时间：2023年03月28日 14:12:18   作者：CodeOfCC  
有时播放实时流的时候有截图的需求，需要将解码出来的图片保存本地或上传服务器，这时就需要将avframe中的数据编码成png、jpg等格式的图片，我们使用ffmpeg的相关编码器就可以实现功能，下面就来讲讲具体实现方法吧

前言

有时播放实时流的时候有截图的需求，需要将解码出来的图片保存本地或上传服务器，这时就需要将avframe中的数据编码成png、jpg等格式的图片，我们使用ffmpeg的相关编码器就可以实现功能。

一、如何实现

1、查找编码器

首先需要查找图片编码器，比如jpg为AV_CODEC_ID_MJPEG，png为AV_CODEC_ID_PNG

示例代码：

enum AVCodecID codec = avcodec_find_encoder(AV_CODEC_ID_MJPEG);

2、构造编码器上下文

有了编码器就可以构造编码器上下文了。

AVCodecContext*ctx = avcodec_alloc_context3(codec);
ctx->bit_rate = 3000000;
ctx->width = frame->width;//视频帧的宽
ctx->height = frame->height;//视频帧的高
ctx->time_base.num = 1;
ctx->time_base.den = 25;
ctx->gop_size = 10;
ctx->max_b_frames = 0;
ctx->thread_count = 1;
ctx->pix_fmt = *codec->pix_fmts;//使用编码器适配的像素格式
//打开编码器
avcodec_open2(ctx, codec, NULL);

3、像素格式转换

如果输入视频帧的像素和编码器的像素格式不相同则需要转换像素格式，我们采用SwsContext 转换即可

AVFrame*rgbFrame = av_frame_alloc();//转换后的帧
swsContext = sws_getContext(frame->width, frame->height, (enum AVPixelFormat)frame->format, frame->width, frame->height, ctx->pix_fmt, 1, NULL, NULL, NULL);
int bufferSize = av_image_get_buffer_size(ctx->pix_fmt, frame->width, frame->height, 1) * 2;
buffer = (unsigned char*)av_malloc(bufferSize);
//构造帧的缓存
av_image_fill_arrays(rgbFrame->data, rgbFrame->linesize, buffer, ctx->pix_fmt, frame->width, frame->height, 1);
sws_scale(swsContext, frame->data, frame->linesize, 0, frame->height, rgbFrame->data, rgbFrame->linesize);
//构造必要的参数
rgbFrame->format = ctx->pix_fmt;
rgbFrame->width = ctx->width;
rgbFrame->height = ctx->height;

4、编码

得到转后的帧就可以编码

ret = avcodec_send_frame(ctx, rgbFrame);

5、获取图片数据

获取解码后的包即可得到图片数据。

uint8_t* outbuf;//输出图片的缓存
size_t outbufSize;//缓存大小
AVPacket pkt;
av_init_packet(&pkt);
//获取解码的包
avcodec_receive_packet(ctx, &pkt);
//将图片数据拷贝到缓存
if (pkt.size > 0 && pkt.size <= outbufSize)
memcpy(outbuf, pkt.data, pkt.size);

6、销毁资源

将上述步骤使用的对象销毁。

if (swsContext)
{
    sws_freeContext(swsContext);
}
if (rgbFrame)
{
    av_frame_unref(rgbFrame);
    av_frame_free(&rgbFrame);
}
if (buffer)
{
    av_free(buffer);
}
av_packet_unref(&pkt);
if (ctx)
{
    avcodec_close(ctx);
    avcodec_free_context(&ctx);
}

二、完整代码

/// <summary>
/// 帧转图片
/// 如果外部提供的缓存长度不足则不会写入。
/// </summary>
/// <param name="frame">[in]视频帧</param>
/// <param name="codecID">[in]图片编码器ID,如jpg:AV_CODEC_ID_MJPEG，png:AV_CODEC_ID_PNG</param>
/// <param name="outbuf">[out]图片缓存，由外部提供</param>
/// <param name="outbufSize">[in]图片缓存长度</param>
/// <returns>返回图片实际长度</returns>
static int frameToImage(AVFrame* frame, enum AVCodecID codecID, uint8_t* outbuf, size_t outbufSize)
{
    int ret = 0;
    AVPacket pkt;
    AVCodec* codec;
    AVCodecContext* ctx = NULL;
    AVFrame* rgbFrame = NULL;
    uint8_t* buffer = NULL;
    struct SwsContext* swsContext = NULL;
    av_init_packet(&pkt);
    codec = avcodec_find_encoder(codecID);
    if (!codec)
    {
        printf("avcodec_send_frame error %d", codecID);
        goto end;
    }
    if (!codec->pix_fmts)
    {
        printf("unsupport pix format with codec %s", codec->name);
        goto end;
    }
    ctx = avcodec_alloc_context3(codec);
    ctx->bit_rate = 3000000;
    ctx->width = frame->width;
    ctx->height = frame->height;
    ctx->time_base.num = 1;
    ctx->time_base.den = 25;
    ctx->gop_size = 10;
    ctx->max_b_frames = 0;
    ctx->thread_count = 1;
    ctx->pix_fmt = *codec->pix_fmts;
    ret = avcodec_open2(ctx, codec, NULL);
    if (ret < 0)
    {
        printf("avcodec_open2 error %d", ret);
        goto end;
    }
    if (frame->format != ctx->pix_fmt)
    {
        rgbFrame = av_frame_alloc();
        if (rgbFrame == NULL)
        {
            printf("av_frame_alloc  fail:%d");
            goto end;
        }
        swsContext = sws_getContext(frame->width, frame->height, (enum AVPixelFormat)frame->format, frame->width, frame->height, ctx->pix_fmt, 1, NULL, NULL, NULL);
        if (!swsContext)
        {
            printf("sws_getContext  fail:%d");
            goto end;
        }
        int bufferSize = av_image_get_buffer_size(ctx->pix_fmt, frame->width, frame->height, 1) * 2;
        buffer = (unsigned char*)av_malloc(bufferSize);
        if (buffer == NULL)
        {
            printf("buffer alloc fail:%d", bufferSize);
            goto end;
        }
        av_image_fill_arrays(rgbFrame->data, rgbFrame->linesize, buffer, ctx->pix_fmt, frame->width, frame->height, 1);
        if ((ret = sws_scale(swsContext, frame->data, frame->linesize, 0, frame->height, rgbFrame->data, rgbFrame->linesize)) < 0)
        {
            printf("sws_scale error %d", ret);
        }
        rgbFrame->format = ctx->pix_fmt;
        rgbFrame->width = ctx->width;
        rgbFrame->height = ctx->height;
        ret = avcodec_send_frame(ctx, rgbFrame);
    }
    else
    {
        ret = avcodec_send_frame(ctx, frame);
    }
    if (ret < 0)
    {
        printf("avcodec_send_frame error %d", ret);
        goto end;
    }
    ret = avcodec_receive_packet(ctx, &pkt);
    if (ret < 0)
    {
        printf("avcodec_receive_packet error %d", ret);
        goto end;
    }
    if (pkt.size > 0 && pkt.size <= outbufSize)
        memcpy(outbuf, pkt.data, pkt.size);
    ret = pkt.size;
end:
    if (swsContext)
    {
        sws_freeContext(swsContext);
    }
    if (rgbFrame)
    {
        av_frame_unref(rgbFrame);
        av_frame_free(&rgbFrame);
    }
    if (buffer)
    {
        av_free(buffer);
    }
    av_packet_unref(&pkt);
    if (ctx)
    {
        avcodec_close(ctx);
        avcodec_free_context(&ctx);
    }
    return ret;
}

三、使用示例

1、截取视频帧并保存文件

void main() {
    AVFrame* frame;//视频解码得到的帧
    saveFrameToJpg(frame,"snapshot.jpg");
}

/// <summary>
/// 将视频帧保存为jpg图片
/// </summary>
/// <param name="frame">视频帧</param>
/// <param name="path">保存的路径</param>
void saveFrameToJpg(AVFrame*frame,const char*path) {
    //确保缓冲区长度大于图片,使用brga像素格式计算。如果是bmp或tiff依然可能超出长度，需要加一个头部长度，或直接乘以2。
    int bufSize = av_image_get_buffer_size(AV_PIX_FMT_BGRA, frame->width, frame->height, 64);
    //申请缓冲区
    uint8_t* buf = (uint8_t*)av_malloc(bufSize);
    //将视频帧转换成图片
    int picSize = frameToImage(frame, AV_CODEC_ID_MJPEG, buf, bufSize);
    //写入文件
    auto f = fopen(path, "wb+");
    if (f)
    {
        fwrite(buf, sizeof(uint8_t), bufSize, f);
        fclose(f);
    }
    //释放缓冲区
    av_free(buf);
}

2、自定义数据构造AVFrame

void main() {
    uint8_t*frameData;//解码得到的视频数据
    AVFrame* frame=allocFrame(frameData,640,360,AV_PIX_FMT_YUV420P);
    saveFrameToJpg(frame,"snapshot.jpg");//此方法定义在示例1中
    av_frame_free(&frame);
}

/// <summary>
/// 通过裸数据生成avframe
/// </summary>
/// <param name="frameData">帧数据</param>
/// <param name="width">帧宽</param>
/// <param name="height">帧高</param>
/// <param name="format">像素格式</param>
/// <returns>avframe，使用完成后需要调用av_frame_free释放</returns>
AVFrame* allocFrame(uint8_t*frameData,int width,int height,AVPixelFormat format) {
    AVFrame* frame = av_frame_alloc();
    frame->width = width;
    frame->height = height;
    frame->format = format;
    av_image_fill_arrays(frame->data, frame->linesize, frameData, format, frame->width, frame->height, 64);
    return frame;
}

总结

以上就是今天要讲的内容，总的来说整个流程和一般的视频编码是一致的，只是选择的编码器不同，拿到的图片数据在内存中，可以直接网络传输或保存到本地。可以很方便的在视频界面过程中截图，尤其是解码使用ffmpeg的情况下。实现也不算难，写成文章是为了以后能直接复用，毕竟时间久了一些细节还是会遗忘的。

到此这篇关于C++ ffmpeg实现将视频帧转换成jpg或png等图片的文章就介绍到这了,更多相关C++ ffmpeg视频帧转图片内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

您可能感兴趣的文章:

相关文章

  • C语言实现链栈的步骤

    C语言实现链栈的步骤

    链栈是栈的链式存储结构，链栈可以用单链表的头插法实现，本文主要讲述了如何用c语言去实现链栈，感兴趣的朋友可以了解下
    2021-05-05
  • CString,字符串,整数等相互转换方法(推荐)

    CString,字符串,整数等相互转换方法(推荐)

    下面小编就为大家带来一篇CString,字符串,整数等相互转换方法(推荐)。小编觉得挺不错的，现在就分享给大家，也给大家做个参考。一起跟随小编过来看看吧
    2016-09-09
  • C++解决输出链表中倒数k个结点的问题

    C++解决输出链表中倒数k个结点的问题

    这篇文章主要给大家介绍了关于如何利用C++解决输出链表中倒数k个结点的问题,文中通过实例代码介绍的非常详细,对大家学习或者使用C++具有一定的参考学习价值,需要的朋友可以参考下
    2021-12-12
  • C语言实现任意进制转换器

    C语言实现任意进制转换器

    这篇文章主要为大家详细介绍了C语言实现任意进制转换器，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-01-01
  • Qt与Web混合开发实现双向通信的示例

    Qt与Web混合开发实现双向通信的示例

    本文主要介绍了Qt与Web混合开发实现双向通信的示例，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2023-07-07
  • C++贪心算法实现马踏棋盘

    C++贪心算法实现马踏棋盘

    这篇文章主要为大家详细介绍了C++贪心算法实现马踏棋盘，文中示例代码介绍的非常详细，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
    2022-02-02
  • Qt重写QStackedWidget模拟实现home界面滑动效果

    Qt重写QStackedWidget模拟实现home界面滑动效果

    这篇文章主要为大家详细介绍了Qt如何通过重写QStackedWidget模拟实现home界面滑动效果，文中的实现过程讲解详细，感兴趣的小伙伴可以跟随小编一起学习一下
    2022-11-11
  • C++ Boost.Range与Adapters库使用详解

    C++ Boost.Range与Adapters库使用详解

    这篇文章主要介绍了C++ Boost.Range与Adapters库使用，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
    2022-11-11
  • 深入浅析c/c++ 中的static关键字

    深入浅析c/c++ 中的static关键字

    C++的static有两种用法：面向过程程序设计中的static和面向对象程序设计中的static。本文重点给大家介绍c/c++ 中的static关键字，感兴趣的朋友跟随小编一起看看吧
    2018-08-08
  • C++模拟实现string的方法详解

    C++模拟实现string的方法详解

    标准库类型string表示可变长的字符序列，使用string类型必须首先包含string的头文件。本文将利用C++模拟实现string，需要的可以参考一下
    2022-11-11

最新评论