H.264/AVC中4×4块的快速帧内预测算法的研究

论文导读：采用一项重要新技术：基于空间域的帧内预测。由于SATD与率失真(RD)性能有很强的相关性。
关键词：视频编码，帧内预测，SATD，快速帧内预测模式选择
 

0、引言

H.264/AVC是由联合视频专家组JVT（Joint Video Team）于2003年5月正式批准的新一代视频编码标准[1、2]。论文指南。与以往的标准相比较，H.264具有压缩效率高、网络适应性好和适用于交互和非交互的应用环境的显著特点，现在得到了广泛应用，并处于不断的改进中。

H.264/AVC采用一项重要新技术：基于空间域的帧内预测，它充分利用了图像的空间相关性，根据已解码的相邻块的信息来预测当前块的信息，来提高编码性能。H.264/AVC在RDO（RateDistortion Optimization）模式下进行帧内预测模式选择，用最少的比特率获得了最好的编码效果,但由于H.264/AVC支持的帧内预测模式很多,为了确定一个宏块(Macroblock，MB)的帧内预测模式,需要计算592种组合模式的率失真代价(RD_Cost),其运算量占整个模式选择的60%左右，从而使编码器的复杂度很高。在实际编码结果中Intra_4×4模式会占据编码模式中的大部分，因此对RDO模式下4×4子块的研究非常有必要，对研究快速帧内预测算法具有重要的应用价值。

1、H.264/AVC帧内预测模式

H.264/AVC支持三类帧内预测：一、Intra_4×4是针对4×4亮度块的预测，有9种预测模式，其中包括DC预测模式（即均值预测模式）和8种具有一定方向性的预测模式；二、Intra_16×16是针对16×16亮度块的预测，有4种预测模式；三、Intra_8×8是针对8×8色度块的预测，有4种预测模式，预测模式和Intra_16×16一样，只是模式编号不一样。其中Intra_4×4模式由于块尺寸较小，适用于编码细节丰富的图像，且能获得较小的差值，但同时因其模式数目较多成为帧内编码的一个瓶颈。论文指南。Intra_16×16模式则比较适用于图像平坦区域的预测。

(a)（b）

图1 帧内预测模式方向

2、帧内4×4块预测的分析

2.1相邻块之间的相关性

在编码时，只需对预测值与实际值的差值进行编码即可，则充分利用帧内相邻宏块间的信息相关性来得到预测值，即是通过当前块编解码后的重建过程为紧邻的下一宏块提供预测值。具体到本文的4×4块，相邻的4×4块的预测模式之间具有很强的相关性，根据当前4×4块的左边块和上边块的预测模式可以预测当前块的最可能模式（MPM，Most Probable Mode）。利用该相关性可以减少预测模式的选择数目，从而可以减少编码的比特数。

2.2RDO下全搜索（FS）的帧内预测模式选择过程

具体的帧内模式选择过程[3]如下：

(1)分别计算9种Intra_4×4模式的率失真代价(RD_Cost) ,选择具有最小代价的模式。代价函数RD_Cost = SSD +λmode×Rate,其中SSD(Sum of SquaredDifference)表示当前块与重建块之间的差值平方和；λmode = 0.85×2(QP - 12) /3 (QP为块的量化参数)；Rate表示熵编码后的码率。论文指南。

(2)把16个4×4块最小的RD_Cost相加得到当前宏块Intra_4×4的RD_Cost。

(3)按类似方法分别计算4种Intra_16×16模式的SAD(Sum of Absolute Difference)，选择具有最小SAD的模式。计算该模式下的RD_Cost,得到当前宏块Intra_16×16方式下的RD_Cost。

(4)比较前两步获得的RD_Cost,选择具有最小RD_Cost的模式作为该宏块的帧内预测模式。

(5)Intra_8×8色度宏块的预测方法与亮度类似。

2.3 减小帧内预测复杂度的常用方法

为了减小帧内预测的复杂度，一般有两种方法：(1)简化代价函数；(2)缩小预测模式选择的范围。此方法可以利用当前块及其周围像素的某些特征,预先排除某些可能性很小的预测模式,或提前终止某些可能性小的模式的代价计算,从而降低帧内预测的复杂度。PAN Feng等利用子块边缘的变化方向从预选模式中选取最有可能的预测方向，算法中采用边缘梯度直方图的方法在几种最有可能的预测方向中选取最佳预测方向[4]；Meng Bojun等提出EIPMS算法，利用代价函数和多阈值的方法提高了4×4的子块的编码速度[5]；文献[6]利用下采样方法，用RD模型替代率失真方法选择预测模式；这些算法虽然大幅度降低了复杂度，但是因实现起来较麻烦、编码性能有一定的损失或是图像质量下降等问题，需要进一步的改进。

3、Intra_4×4模式选择的快速算法

本文提出的模式选择快速算法是基于上述所提到的两种方法。在SAD(Sum of Absolution Difference)代价函数模型下，可以通过图像亚采样等方法，以代价函数的局部计算为手段达到目的。并利用当前块及其相邻像素的某些特征，预先排除某些可能性很小的预测模式，达到降低算法复杂度的目的。

3.1 SAD/SATD代价函数

通过计算公式(3-1)，选择值最小的所对应的模式为最佳模式。

Cost=SA(T)D+4R×λ(QP) (3-1)

其中，λ(QP)是关于QP的指数函数，4R是对使用某种预测模式后形成比特数的估计，R根据当前模式是否为最有可能的模式取值为0或1。SAD为原始图象象素和编码重建图象象素的绝对值差的和。为了更加准确的计算Cost值，通常将原始图象象素和重建图象象素的差值进行Hadamard变换，将其转换到变换域。

由于SATD与率失真(RD)性能有很强的相关性，所以利用SATD作为判断准则,预先排除掉一些可能性小的预测模式降低复杂度。相邻的4×4块的预测模式之间具有很强的相关性，相邻块的关系如图2所示，其中D是当前的4×4亮度块，A、B和C分别为左上、上边和左边的4×4亮度块。可以根据它们的预测模式确定当前4×4块的最可能预测模式，故可以选择相邻4×4块预测模式的SATD值作为阈值，预先排除掉SATD大于该阈值的模式，这样可以预先排除大约50%的Intra4×4模式，避免了很多不必要的代价(Cost)计算，通过实现自适应阈值降低预测的计算复杂度。

引入阈值T，计算4×4块在最可能的预测模式下的Cost4×4值，如果Cost4×4的结果小于阈值T，那么就把它作为当前4×4亮度块的最佳预测模式；否则，继续计算其他的预测模式。在这里阈值T的选取就是至关重要的地方，如果T较小，则不能有效的减少需要计算的预测模式数；否则如果T较大，较容易选择“最可能的预测模式”，作为最终的结果，不能有效的找到当前块的最佳预测模式。一般的，在图像内容比较复杂的区域，可以适当的增大T的值；否则，应该减小T的值。另外，T的选择与QP值的大小也有关系；当QP较大时，预测误差较大，则应该适当的增大T的值；否则，应该减小T的值。据经验分析，如果最可能的预测模式就是最佳预测模式，绝大多数情况下D块的预测残差与A或B或C块的预测残差十分接近。而SATD值反应的是预测模式对当前纹理结构的近似效果，所以取A、B和C块Cost4×4值较小的一个作为D块的Cost4×4预测期望值。再将λ(QP)的作用考虑内，我们将阈值T设定为：

T=min(CostA,CostB,CostC)+kλ(QP)(3-2)

图2 相邻4×4亮度块A、B、C和D的关系图

3.2 Intra_4×4快速帧内模式选择算法流程

(1)在4×4亮度块的帧内预测中，最优的预测模式通常与次优的预测模式具有相似的方向。所以8种预测模式中，我们可以先计算模式1,2,3,5；对应可能的模式分别是8、6，0、1,7、8,4、0。

(2)根据相邻块预测模式之间的相关性计算SATD,预先跳过不可能的模式 ，筛选出候选模式。

(3)通过公式(3-2)计算4×4块在最可能的预测模式下的Cost4×4值，若Cost4×4﹤T，则将作为最终的结果输出；若Cost4×4﹥T，则计算下一个预测模式，再进行新一次的比较。

4、实验结果

该算法以JM11.0为参考软件，在全I帧、RDO模式下对4种QCIF和CIF格式的图像序列进行测试。测试结果如表3.1所示：

表3.1 实验结果(QP=24)

5、结论

本文针对H.264/AVC的帧内预测模式选择提出了改进算法，根据相邻块模式预测的强相关性，而引入一个自适应阈值，从而使得模式选择的数目相对减少，降低帧内预测的复杂度，

编码时间下降的同时，其信噪比有所减小，比特率的小幅增加可以忽略不计。

参考文献：
[1]Jointvideoteam(JVT)ofITU-TVCEGandISO/IECMPEG.[S].Finaldraftinternationalstandardofjointvideospecification(ITU-TRec.H.264/ISO/IEC14496-10).JVT-G050,2003-05.
[2]ThomasW,GaryJ,Sullivan,etal.OverviewoftheH.264/AVCvideocodingstandard[J].IEEETransactionsonCircuitsandSystemsforVideoTechnology,2003,13(7):560-576.
[3]毕厚杰，王健，新一代视频压缩编码标准——H.264/AVC(第二版)，北京，人民邮电出版社，2009:87-88
[4]FengP,XiaoL,etal.Fastmodedecisionforintraprediction[A].JVT-G013inISO/IECJTC1/SC29/WG11andITU-TSG16Q.6,JVT7thMeeting.PattayaⅡ[C].Thailand,2003-03.
[5]BojunM,OscarC,etal.EfficientIntra-PredictionModeSelectionfor4×4BlocksinH.264[A].InICME’03Proceedingsofthe2003InternationalConferenceonMultimediaandExpo[C].Baltimore,Maryland:IEEE,2003.521-524.
[6]JeonB,LeeJ.FastmodedecisionforH.264[A].InISO/IECJTC1/SC29/WG11andITU-TSG16Q.6,JVT10thMeeting[C].Waikoloa,Hawaii,2003-12.
[7]谢晶，贾克斌.一种基于4×4子块特征的H.264/AVC快速帧内预测算法[J].电路与系统，2007,8:12-14.