KK系列 AI视频开垦速率10倍擢升，过曝变色也能逐帧惩处｜好意思图国科大出品

BlazeBVD团队 投稿KK系列

量子位 | 公众号 QbitAI

家东谈主们，放手“视频闪耀”（比如画面短暂一白）有新招了！

回念念一下，当你看一部老电影或者用手机拍摄的视频时，画面偶尔会出现闪耀或颜料不一致等格式。

为了放手这些，来自好意思图影像商量院、中国科学院大学，以及四川大学的商量东谈主员冷漠了一种新算法。

新算法“BlazeBVD”不错自动放手视频中的闪耀，而且处理速率十分快，据称比现存要道快10倍。

更妙的是！这种要道致使无需预先知谈视频闪耀的具体类型或进度。

换句话说，它是“盲”的，不错应用于多样不同的视频。

这下，即使拍摄环境光泽变化，或者相机硬件跟不上也无需头疼了。[doge]

当今筹论说文已被打算机视觉顶会ECCV 2024罗致。

感深嗜的话，我们接着康康~

全国约炮BlazeBVD怎样放手视频闪耀？

最初，受经典的STE（闪耀去除要道圭表时间平衡）启发，BlazeBVD引入了直方图扶直解决决议。

图像直方图被界说为像素值的散布，它被世俗应用于图像处理，以调节图像的亮度或对比度。

打个譬如，图像直方图就像是一个统计表，它告诉我们在一张像片中，不同亮度的像素有几许。

△ 图片由Claude 3.5 Sonnet生成

而STE通过分析视频中每一帧的直方图KK系列，然后用一种叫作念高斯滤波的要道来平滑这些直方图，jiuse先初步矫方正方图散布突变的图像帧，大要让画面看起来愈加寂静，减少闪耀。

天然STE只对一些眇小的闪耀有用，但它考证了：

直方图比原始的像素数据更神圣，大要更有用地捕捉到视频中的亮度变化和闪耀。通过平滑直方图，不错减少视频中的闪耀格式，让视频看起来更寂静。

因此，愚弄STE和直方图的领导来提高盲视频去闪耀的质地和速率是可行的。

具体而言，BlazeBVD包括三个阶段。

BlazeBVD三阶段详解

就像医师治病相同，BlazeBVD会最初查验视频的每一帧。

它引入了STE对视频帧在光照空间下的直方图序列进行创新。

然后从处理过的帧中提真金不怕火出首要信息，比如哪些帧闪耀最彰着（奇异帧集）、哪些场所光泽需要调节（滤波后的光照图），播色以及哪些场所曝光过度或不及（曝光图）。

接下来，BlazeBVD启动进行开垦。

一方面，BlazeBVD使用一个叫作念全局闪耀去除模块（GFRM）的器具，愚弄之前提真金不怕火的光照图来调节扫数这个词视频的光泽，确保每一帧的亮度和颜料看起来皆很天然。

另一方面，关于一些特地需要温煦的局部区域，比如曝光过度或不及的场所，BlazeBVD会使用局部闪耀去除模块（LFRM）。这个模块会愚弄光流信息（就像跟踪物体在视频中的畅通）来开垦这些区域的细节。

完成这一步，BlazeBVD终末进行完善责任。

它引入一个轻量级的时序收集（TCM），这个收集就像是视频的“好意思容师”，确保每一帧在视觉上皆是平滑过渡的，莫得突兀的变化。

为了进一步提高视频的一致性，BlazeBVD想象了一种特殊的评分系统（自合适掩模加权蚀本）。这个系统会给每一帧打分，确保它们在视觉上的一致性，让扫数这个词视频看起来愈加畅通和天然。

至此，BlazeBVD完成了扫数这个词“赈济”历程。

践诺物化

那么，BlazeBVD究竟服从怎样呢？

平直看已有要道与BlazeBVD在盲视频去闪耀任务上的物化对比：

其中Deflicker为已有要道，GT（Ground Truth）暗意理念念的无闪耀视频，而KL散度暗意处理后的视频与理念念无闪耀视频之间的各别。KL数值越大，各别越大。

不错看出，BlazeBVD能很好地归附照明直方图，同期幸免出现颜料伪影和颜料失真（举例第二列男东谈主的手臂）。

再进一步和基线要道进行量化对比：

BlazeBVD在PSNR（峰值信噪比，数值越高暗意视频质地越好）和SSIM（结构相似性指数，数值接近1暗意视频质地越好）上得分较高，且在Ewarp（数值越低，视频越连贯一致）得分较低。

一句话，BlazeBVD高出了已有基线要道。

为了直不雅展现这种永诀，BlazeBVD与基线要道的可视化对比如下：

消融践诺也考证了BlazeBVD所想象模块的有用性：

轮廓而言，通过对合成视频、信得过视频和生成视频的综合践诺，BlazeBVD展现了优胜的定性和定量物化，何况比起始进的模子推理速率快10倍。

当今筹论说文已公开，感深嗜不错进一步了解。

论文：

https://arxiv.org/html/2403.06243v1

— 完 —

量子位 QbitAI · 头条号签