关键词：
本文来自ICASSP2021论文《IMPROVED INTRA MODE CODING BEYOND AV1》
AV1帧内预测
简介
在AV1中帧内预测模式分为角度帧内预测模式和非角度帧内预测模式，和VP9一样有8种角度帧内预测模式，在每种方向上还有7个delta角度（-3~+3）用于扩展方向的粒度，总共56个方向模式，如Fig1所示。
非角度帧内预测模式包括SMOOTH、SMOOTH-V、SMOOTH-H、Paeth预测和递归滤波模式。在AV1中，除了跨分支预测CfL外，色度和亮度分量共享同样的帧内预测模式。
帧内模式编码
如表1所示，帧内模式编码至少需要4个语法元素：亮度的标称角度（y_mode）、亮度的delta角度（angle_delta_y）、色度的标称角度（uv_mode）、色度的delta角度（angle_delta_uv）。在编码色度标称模式时，对应的亮度标称模式用于生成上下文。在编码色度delta角度时，色度标称角度用于生成上下文。换句话说，亮度和色度delta间的相关性（如果有的话）没有利用起来。
编码器帧内模式搜索
在AV1中，编码器以预定义或固定的的顺序遍历标称模式来搜索最优帧内预测模式。对于亮度分量，首先进行粗略的模式决策过程来确定那些模式进行全RDO计算。对于色度分量，所有标称模式都有进行全RDO计算。当当前块有超过32个像素，且对应的标称模式的RD cost是遍历的所有标称模式中最小时，进一步搜索delta角度。为了减少计算复杂度，不对所有delta角度进行全RDO计算，首先对delta角度-2，0，2进行搜索，然后基于它们的RD cost决定是否跳过其他delta角度的搜索。
帧内模式分布分析
亮度和色度块的帧内预测角度通常有很高的相关性。在Fig2(a)中，水平轴表示当色度delta角度不为0时，亮度和色度标称角度的差值。可以看见当色度delta角度不为0时，95%的块的亮度和色度标称角度相等。在Fig2(b)中，水平轴表示亮度和色度标称角度相同时，亮度和色度delta角度的差值。可以看见，当亮度和色度标称角度相同时，55%的块亮度和色度delta角度相同。此外，亮度分量的delta角度在相邻块间有很高的空域相关性。Fig3显示，当前亮度块和其中一个相邻块标称角度相等的概率超过80%。
本文算法
跨分支模式编码
由Fig2可知，当亮度和色度标称角度不同时，delta角度不为0的概率仅为5%。因此，为了减少传输delta角度的码率和编码时间，只有亮度和色度标称角度相同时才传输色度的delta角度，否则不在码流中传输色度的delta角度，在解码端默认为0。这样，色度分量只有8个标称角度和6个非零delta角度。为了减少性能损失，这8个标称角度和6个非零delta角度都需要进行全RDO计算。和libaom v2.0相比，对于all intra配置平均节省4%的编码时间，而BD-rate损失很小。
在AV1中，亮度和色度分量在传输delta角度时使用相同的累积密度函数（Cumulative Density Function ，CDF）和代价函数。这种设计是基于亮度和色度的delta角度概率分布相似的假设。但是，根据前面的观察。在大部分情况下亮度和色度的delta角度概率分布不同。因此，使用不同的CDF和代价函数可以更好的捕捉亮度和色度delta角度各自的统计特征。
根据前面的观察，色度的delta角度和亮度的高度相关，使用亮度delta来生成色度delta的CDF比使用色度标称角度生成色度delta的CDF更好，这样能更好的利用亮度和色度分量的相关性。这样，当亮度和色度delta角度相等时，传输色度delta角度的代价会减小。此外，亮度和色度delta角度相等的概率由50%变为90%。
有两种方法可以使色度delta角度依赖于亮度delta角度。方法一Method #1 ，仅当亮度和色度标称角度相同时才传输色度delta角度。方法二Method #2，使用两种CDF，当亮度和色度标称角度相同时使用一种CDF，不同时使用另一种CDF。
上下文自适应的模式编码
根据Fig3观察，当亮度标称角度和至少一个相邻块的标称角度相同时，delta角度相同的概率超过80%。基于此，对亮度模式编码可以使用上下文自适应的方法。当当前块的标称角度和其中一个相邻块的标称角度相同时，则其delta角度的CDF由其相邻块的delta角度建模。当上方和左侧相邻块的标称角度都相同时，优先考虑上方。
实验结果
使用All intra配置，YUV的BD-rate按6:1:1计算。QP=28,35,42,49。使用的命令行为，
跨分支模式编码的结果如表2，
上下文自适应模式编码的结果如表3，
感兴趣的请关注微信公众号Video Coding
icassp2021：面向scc的自适应双重树结构
本文来自ICASSP2021论文《AdaptiveDualTreeStructureforScreenContentCoding》在HEVC中，CTU采用四叉树方式递归划分，同一个CTU的亮度CTB和色度CTB采用相同的划分结构即单重树结构。而对于VVC，采用帧内预测模式的CTU的亮度CTB和色度CT... 查看详情
icassp2021：端到端的图像编码方法
本文来自ICASSP2021论文《ImageCodingForMachines:AnEnd-to-endLearnedApproach》基于深度学习的计算机视觉在图像领域应用越来越广泛，每天产生的图像数量爆发式增长，传统的图片编码器是面向人眼视觉而不是机器处理。本文提出基... 查看详情
icassp2021：基于显著性进行目标检测的vvc编码
本文来自ICASSP2021论文《SALIENCY-DRIVENVERSATILEVIDEOCODINGFORNEURALOBJECTDETECTION》论文基于VVC提出了面向显著性的编码框架用于处理机器任务。为了在编码前获取显著性区域，论文使用YOLO进行目标检测。为了验证编码对于机器处理的效... 查看详情
icassp2021：通过码率限制降低me复杂度
本文来自ICASSP2021《RelyingonaRateConstrainttoReduceMotionEstimationComplexity》运动估计ME是视频编码中最耗时的部分之一，本文提出基于码率的MV候选项消除策略。研究发现最优MV通常在MVP附近，通过限制MV的码率缩小运动搜索窗口从... 查看详情
h264帧内预测模式编号的编码过程
... 子块： 由4x4像素（或采样）构成的单位 2 帧内亮度预测模式 H264规范中，宏块有4种帧内亮度预测模式，模式编号为0，1，2，3;块与子块分别有9种帧内亮度预测模式，模式编号从0至9，即0，1，2，.......，8。具体... 查看详情
视频编解码—帧内预测
目录帧内预测块大小帧内预测模式4x4亮度块的帧内预测模式（9种）16x16亮度块的帧内预测模式8x8色度块的帧内预测模式帧内预测模式的选择率失真优化视频编码流程 帧内预测一张图像中相邻像素的亮度和色度信息是比较... 查看详情
codecs系列x265编码器：帧内模式选择代码分析(代码片段)
Date：2022.9.10中秋文章目录1、x265帧内模式选择过程2、帧内模式选择核心代码1、x265帧内模式选择过程（1）比较35种预测模式的SATDcost，选出N种RDO候选模式，其中N值与rdlevel和PU尺寸有关。（2）针对N种RDO候选模式采用简单的RDO（无... 查看详情
codecs系列x265编码器：帧内模式选择代码分析
Date：2022.9.10中秋文章目录1、x265帧内模式选择过程1、x265帧内模式选择过程（1）比较35种预测模式的SATDcost，选出N种RDO候选模式，其中N值与rdlevel和PU尺寸有关。（2）针对N种RDO候选模式采用简单的RDOÿ... 查看详情
codecs系列x265编码器：帧内模式选择代码分析
Date：2022.9.10中秋文章目录1、x265帧内模式选择过程1、x265帧内模式选择过程（1）比较35种预测模式的SATDcost，选出N种RDO候选模式，其中N值与rdlevel和PU尺寸有关。（2）针对N种RDO候选模式采用简单的RDOÿ... 查看详情
vvc/vtm帧内编码主要流程图与划分函数
(1)VTM中帧内编码程序的主要流程如下，进行划分的主要函数是XCompressCU与xCheckModeSpilt(2)xCompressCU函数的主体部分如下。对于帧内编码来说，在xCompressCU函数中主要进行的就是一个模式的分割以及帧内代价的计算，通常在填充分割模... 查看详情
av1，实时编码ready
点击上方“LiveVideoStack”关注我们一款编码器的成功，不仅需要大量的金钱，还需要耐心。AV1定稿三年后，是时候为它庆祝了。文|包研不知不觉，距离AV1完成定稿已经过去了三年多，这个新的视频编码标准已... 查看详情
codecs系列hevc标准：帧内预测技术及x265实现分析
DATE：2021.12.25圣诞文章目录1、帧内预测技术1.1、帧内预测模式1.2、帧内预测过程2、x265实现分析2.1、帧内代码流程图2.2、详细分析1、帧内预测技术对于亮度信号，H.265采用35种帧内预测模式，包括33种角度预测以及DC预测模式和Plan... 查看详情
codecs系列hevc标准：帧内预测技术及x265实现分析
DATE：2021.12.25圣诞文章目录1、帧内预测技术1.1、帧内预测模式1.2、帧内预测过程2、x265实现分析2.1、帧内代码流程图2.2、详细分析1、帧内预测技术对于亮度信号，H.265采用35种帧内预测模式，包括33种角度预测以及DC预测模式和Plan... 查看详情
视频技术基础02：视频编码基础(代码片段)
....4减少高频信息2.5推理过程小节3H264编码结构3.1帧类型3.1.1帧内编码帧和帧间编码帧3.1.2H264帧类型3.1.3IDR帧3.2GOP的概念3.3Slice的概念4H264码流结构4.1码流格式4.1.1Annexb格式（附录B格式）4.1.2MP4格式4.2码流结构4.2.1参数集4.2.2NALU... 查看详情
h264转av1后大小相差多少
...比较0.码流结构1.头信息2.编解码框架差异3.块划分结构4.帧内预测5.帧间预测6.变换7.熵编码8.滤波9.加速技术10.其他技术0.码流结构：H.264:NAL层（NetworkAbstractionLayer）：网络抽象层，主要用于网络传输。按照一定格式，对视频编码层... 查看详情
codecs系列x265编码器：帧内帧间快速算法
Date:2022.7.20文章目录1、简介2、帧内快速算法2.1、帧内快速模式选择2.2、子CU递归提前终止3、帧间快速算法3.1、SKIP/Merge快速算法3.2、EarlySkip(SkipRecuision)3.3、EarlySkip（SkipMode）3.4、skipRectAmp3.5、skipIntra1、简介x265是H.265/HEVC标准在工业... 查看详情
如何使用 libavcodec 强制将当前帧编码为帧内帧
】如何使用libavcodec强制将当前帧编码为帧内帧【英文标题】：Howcaniforcingcurrentframetobeencodedasintraframeusinglibavcodec【发布时间】：2021-07-0904:59:52【问题描述】：我想改变gop动态以适应玩家。较小的gop有助于降低首屏成本；Biggop有助... 查看详情
音视频开发之旅（58)-h.264帧内预测
目录编码流程和数据格式回顾4×4亮度块的9中预测模式16×16亮度块的4种预测模式8×8色度块的4种预测模式JM代码资料收获一、编码流程和数据格式回顾我们先看下下图来回顾下编码流程一个编码图像通常划分一个或多个片，每... 查看详情