论文导读：它既是ITU-T的H.264。帧间编码的核心运算部分是“ME”(motionestimation)即运动估计。运动估计包括整像素预测（IME）和分像素预测（IME）两部分。整像素预测，一种H.264编码芯片帧间预测的硬件设计。
关键词：H.264，运动估计，整像素预测
1、引言
H.264是一种高性能的视频编解码技术, 它是ITU-T的VCEG（视频编码专家组）和ISO/IEC的MPEG（活动图像编码专家组）的联合视频组（JVT：joint video team）开发的一个新的数字视频编码标准，它既是ITU-T的H.264，又是ISO/IEC的MPEG-4的第10 部分。论文写作，整像素预测。
作为新一代的视频编码标准，它具有很高的数据压缩比率和优异的性能，广泛应用于视频会议、视频点播、高清视频、移动播放器等多个领域。
H.264最大的优势是具有很高的数据压缩比率，在同等图像质量的条件下，H.264的压缩比是MPEG-2的2倍以上，是MPEG-4的1.5～2倍。论文写作，整像素预测。和MPEG-2和MPEG-4ASP等压缩技术相比，H.264压缩技术将大大节省用户的下载时间和数据流量收费。论文写作，整像素预测。尤其值得一提的是，H.264在具有高压缩比的同时还拥有高质量流畅的图像。
在H.264的编码芯片结构中，相比帧内，帧间(Inter Prediction)编码的效率高，但是运算复杂度也比较高。帧间编码的核心运算部分是“ME”(motion estimation)即运动估计，占用最多的逻辑与时钟资源。帧间预测的运动估计过程分为整像素运动估计（IME）和分像素运动估计（FME），首先找到整像素的最佳MV，然后再进行分像素的搜索。除了巨大的计算复杂度，编码过程也很长，包括预测，重构和熵编码。
2、运动估计运算
H.264帧间预测是利用已编码视频帧/场和基于块的运动补偿的预测模式。由于引入了1/4像素精度、多种分割预测等先进技术，在获得更高压缩率的同时，其算法复杂度也大大提高，使得帧间预测编码耗时占到整个编码计算时间的50%以上，若采用全软件实现高清图像的实时编解码，明显力不从心，这就要求使用高性能的硬件编解码器来完成高清实时编解码任务，这也是本人研究的主要内容。
编码宏块(16x16象素)可以分割成不同大小的块像数据，例如16x16、16x8、8x16、8x8、8x4、4x8、4x4等七种模式。而“ME”的再对各种宏块分割方式下的每个块象素进行预测运算，然后由后续模块统计和比较出最优的分割方式。
运动估计包括整像素预测（IME）和分像素预测（IME）两部分，这两部分是串行的。每一个宏块，只有在IME 做完之后，找到最佳整像素MV，再进行FME。
在进行IME计算时，首先要计算MVP，对于一个块象素，预测运算就是在参考帧中搜索出最佳匹配(即两者差异最小)的同尺寸块象素作为当前块的参考区域。如果在整个参考帧的范围下进行全面的搜索，固然可以得到最为匹配的区域，但是复杂度太大。事实上，相邻块在参考帧中的匹配区域一般位置比较接近。综合考虑算法复杂度，编码效果，资源使用等方面，帧间预测做了如下处理：首先根据周边块的Mv值预测出当前块的Mv值，即Mvp，然后在Mvp所指参考帧中象素点周边搜索最佳块象素。
MVP的搜索过程如图2所示，假定E为当前的宏块、宏块分割或者亚宏块分割，除了16x8和8x16，MVP为A、B、C的MV的中值；对于16x8分割，上面部分MVP由A预测，下面部分MVP由B预测；对于8x16分割，左面部分MVP由B预测，右面部分MVP由C预测。论文写作，整像素预测。以MVP作为搜索的起点。
图2 MVP 计算
IME在进行当前宏块MB（x）的MVP计算的时候，前面的宏块MB（x-1）包含分像素的MV还未得到，这个时候我们无法得到准确的A，所以我们此时以MB（x-1）的16x16分割搜索时所得到的整像素MV来代替A，并把据此计算得到的MVP作为搜索的起点。
3、IME模块及功能
IME模块的架构如下图所示
 
图3 IME模块架构图
IME的主要功能是：
（1）数据：把原始和参考YUV从inter_config模块中取出，为PS和FME模块准备预测所需数据；
（2）控制：控制帧间预测的过程
IME的模块划分及各自功能：
Pipe_ctrl：不同分割间的搜索和选择 将不同分割方式的顺序搜索改为并行，用两条水线来实现加速 Pipe0：进行P16x16，P8x16，P4x8 ；Pipe1：进行P8x8，P16x8，P8x4，4x4由两条共同完成（为了减少pipe0的等待时间，把pipe1的部分工作放到pipe0中）
MVp_ctrl：每种分割的具体搜索过程
（1）计算MVp值
（2）控制reg_ctrl模块的数据存取
Reg_ctrl：为相连模块准备数据
（1）为整像素准备数据，传输给PS模块；
（2）为分像素搜索准备数据，传输给FME模块；
（3）为重构准备数据，传输给FME模块
4、与IME模块相关的主要功能模块
图3中与IME工作相关的有两个主要的部分，一个是Inter_config 模块，还有一个是PS模块，它们在系统中起着重要的作用。论文写作，整像素预测。
1. Inter_config模块及功能描述
Inter_config模块，即帧间数据调度模块，其数据传送如图4所示，Inter_config模块有两部分功能：一是为IME服务，把IME所需的数据从DDR取到Sram；二是为Loop Filter服务，把LoopFilter模块的deblock运算所需要的一部分数据从DDR取到Sram以及将deblock运算后的宏块数据存入DDR。
图4 Inter_config模块数据传送
Inter_config模块与IME有关的工作包括：
1）取原始YUV数据，Luma部分直接拉给IME_Reg_o，Chroma部分存入Sram0。
2）为IME准备计算所需的9个宏块的Luma数据，并存入Sram0和Sram1。
3）将这9个宏块的Chroma数据准备到Sram1中，用于Chroma资料拼接之用。
4）接收到IME_ChromaStart_i信号有效后，开始FME运算所需Chroma数据的相关准备工作。包括：①从Sram0中取Chroma的原始YUV送给IME；②从Sram0中取Chroma3x3Mb数据并进行拼接（将每个block对应的2x2像素，向右向下扩展，变成3x3像素）后送给IME。论文写作，整像素预测。
5）把最后一行的5个mv（当前Mb最后一行的block的4个mv及右侧相邻的1个mv）存入Sram0，作为下一宏块行进行Mvp预测所需数据。
2. PS模块功能描述
PS模块，即预测选择模块，本模块主要用于选择当前编码宏块的最佳预测方式，帧内预测还是帧间预测；若是帧间预测还需给出宏块的最佳分割以及分割的最佳MV，除此之外，还需求残差值，用于后面的重建。其主要功能如下：
1）接收IME模块的整像素亮度值，以进行整像素搜索，找出最佳的整像素MV；
2）将两套流水线所得出的cost进行比较，选出最佳partition；
3）接收inter_ctrl模块中IME模块的亚像素亮度值，以进行亚像素搜索，找出最佳的亚像素MV以及cost，并与最佳的整像素MV的cost相比较，选择最佳的MV；
4）将选出的最佳的cost与intra_ctrl中的最佳的cost，比较得出最佳的预测方式，帧间还是帧内；
5）若选出的是帧内，则结束当前宏块的帧间操作，准备下一个宏块的帧间操作；若选出的是帧间，则接收IME或FME的亮度和色度值，进行求残差操作，送给DCT以备后面重建。
5、总结及展望
本文对帧间编码中IME运算所需数据进行探讨和分析，并提出一套架构设计方案，时序和资源使用都比较优化。设计方案在空间上具有较高的并行度，处理能力高，非常适合实现高清视频编码。目前市场上对于H.264的研究开发一般都是基于PC或者DSP解决，很少有基于硬件实现的开发，功能上还不足以实现高清实时信号的编码和解码。本设计能够实现帧间预测的关键部分，在后续的研究中如果能使用H.264标准在帧间预测所带来的高压缩率，如果能将其带来的复杂度的增加限制在可容忍的范围内，支持帧间预测的高清实时视频编解码的芯片实现是非常有意义的，应用前景很广阔。
参考文献
[1]新一代视频压缩编码标准——H.264/AVC 毕厚杰 人民邮电出版社
[2]Iain E.G.Richardson．H.264 and MPEG-4 Video Compression: VideoCoding for Next Generation Multimedia. U.S: Wiley Press, 2003.
[3]Tung-Chien Chen, Chung-JrLian, and Liang-Gee Chen. Hardware Architecture Design of an H.264/AVC VideoCodec. Asia and South Pacific Conference on. Design Automation, 2006.
[4]Renxiang Li, Bing Zeng, and Ming L． Liou． A new three－stepsearch algorithm for block motion estimation． IEEE Trans．Circuits Syst．Video Technol．, vol． 4, No． 4,Aug 1994
|
