人眼视觉特性与视频编码压缩技术
发布时间:2006-10-14 4:14:14   收集提供:gaoqian
闵文凯


1引言

  人眼的视觉系统是世界上最好的图像处理系统,但它远远不是完美的。人眼的视觉系统对图像的认知是非均匀的和非线性的,并不是对图像中的任何变化都能感知。例如图像系数的量化误差引起的图像变化在一定范围内是不能为人眼所觉察的。因此,如果编码方案能利用人眼视觉系统的一些特点,是可以得到高压缩比的。对人眼视觉特性的深入研究及由此而建立的各种数学模型,一直是各种图像数字压缩算法的基础。

2人眼的视觉特性

2.1对比灵敏度

  人眼对亮度光强变化的响应是非线性的,通常把人眼主观上刚刚可辨别亮度差别所需的最小光强差值称为亮度的可见度阈值。也就是说,当光强I增大时,在一定幅度内感觉不出,必须变化到一定值I+ΔI时,人眼才能感觉到亮度有变化,ΔI/I一般也称为对比灵敏度。因此恢复图像的误差如果低于对比灵敏度,即不会被人眼察觉。此外,高频部分在相同的灵敏度阈值下,色差信号Y-R空间频率只有亮度Y的一半,色差信号Y-B空间频率只有亮度Y的1/4。人眼对于运动图像的对比灵敏度与时间轴上信息的变化速度有关,随着时间轴变化频率的增加,人眼所能感受到的图像信息的误差阈值呈上升趋势,视觉上的这种动态对比灵敏度特性表现为图像序列之间相互掩盖效应。可见度阈值和掩盖效应对图像编码量化器的设计有重要作用,利用这一视觉特性,在图像的边缘可以容忍较大的量化误差,因而可使量化级减少,从而降低数字码率。

2.2分辨率

  当空间平面上两个黑点相互靠拢到一定程度时,离开黑点一定距离的观察者就无法区分它们,这意味 着人眼分辨景物细节的能力是有限的,这个极限值就是分辨率。研究表明人眼的分辨率有如下一些特点:①当照度太强、太弱时或当背景亮度太强时,人眼分辨率降低。②当视觉目标运动速度加快时,人眼分辨率降低。③人眼对彩色细节的分辨率比对亮度细节的分辨率要差,如果黑白分辨率为1,则黑红为0.4,绿蓝为0.19。

2.3马赫效应

  当亮度发生跃变时,会有一种边缘增强的感觉,视觉上会感到亮侧更亮,暗侧更暗。马赫效应会导致局部阈值效应,即在边缘的亮侧,靠近边缘像素的误差感知阈值比远离边缘阈值高3~4倍,可以认为边缘掩盖了其邻近像素,因此对靠近边缘的像素编码误差可以大一些。

3图像子采样

  对色差信号使用的采样频率比对亮度信号使用的采样频率低,这种采样就称为图像子采样(Subsampling)。最简便的图像压缩技术恐怕就要算图像子采样了。这种压缩方法的基本根据是人的视觉系统所具有的两个特性,一是人眼对色度信号的敏感程度比对亮度信号的敏感程度低,利用这个特性可以把图像中表达颜色的信号去掉一些而使人不易察觉:二是人眼对图像细节的分辨能力有一定的限度,利用这个特性可以把图像中的高频信号去掉而使人不易察觉,子采样就是利用这个特性来压缩彩色电视信号。

  子采样格式:4∶2∶2子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本,2个红色差cr样本和2个蓝色差cb样本,平均每个像素用2个样本表示。4∶1∶1子采样格式是指在每条扫描线上每4个连续的采样点取4个亮度Y样本,1个红色差cr样本和1个蓝色差cb样本,平均每个像素用1.5个样本表示。这是数字电视磁带DVC(Digital Video Cassette)上使用的格式。4∶2∶0子采样格式是指在水平和垂直方向上每2个连续的采样点上取2个亮度Y样本,1个红色差Cr样本和1个蓝色差Cb样本,平均每个像素用1.5个样本表示。

4变换编码

  在图像数据压缩技术中,变换编码(Transform Coding)与预测编码(Predictive Coding)已成为最基本的两种编码方法。变换编码的基本思想是,将空间域描写的图像信号变换到一个正交变换域(正交的矢量空间)进行描写。变换前后的明显差别是,在空间域像素块中的像素存在很强的相关性,能量分布比较均匀,经过正交变换后,变换系数近似统计独立,基本上去除了相关性,能量集中在直流和少数低频系数上。然后在变换域内进行滤波、量化(与视觉特性匹配)及统计编码,以实现有效的码率压缩。

  电视信号的能量主要集中在低频部分,随着频率的升高,能量迅速下降,考虑到人眼的主观视觉对高频成分不如对低频成分敏感的特点,在编码时对高低频成分分别采用粗细不同的量化,甚至对高频成分舍弃不传,这样既可降低码率又可以保持良好的主观图像质量。

5预测编码

  差分脉冲编码调制(DPCM)是一种预测编码技术,其原理是基于图像信号冗余度高的事实,当前的像素值可用与它邻近的像素值预测获得。在预测编码中,不直接传输像素样值本身,而是对实际样值与它的一个预测值之间的差值进行量化、编码再传送,以达到很高的压缩比,这个差值就是预测误差。在视频序列编码中,主要用运动补偿著行时间轴冗余度压缩。通常预测误差值的分布主要集中在0附近的一个小范围内,其动态范围比原图像更为集中,相关性比原图像小得多,只是在图像剧烈变化之处,如图像的边缘和轮廓处出现一些较大的预测误差,而人眼对图像边缘处的较大误差不敏感,因此对预测误差量化所需要的级数比对图像样值本身进行量化所需要的级数少得多,可以大大提高编码的效率。

  电视信号的帧内编码利用图像信号的空间相关性实现码率压缩,而数据压缩编码中的量化(Quantization)处理是指经正交变换、差分或预测处理后,在熵编码之前对正交变换系数、差值或预测误差的量化处理,量化输入值的动态范围很大,量化输出只能取有限个整数,称作量化级。量化处理总是把一批输入量化到一个输出级上,所以量化处理是一个多对一的处理过程,是个不可逆的过程,量化处理中有信息丢失,会引起量化误差。所谓量化误差就是由于量化所引起信号原来的值与量化之后值的差值。

  量化器的最佳设计可以达到最佳的压缩效果,对于预测误差这样的信号,应采用非均匀量化,对概率密度大的区域细量化,对概率密度小的区域粗量化。与均匀量化相比,在相同的量化分层条件下,非均匀量化的量化误差要比均匀量化的小,这种非均匀量化特性也与人眼的视觉特性相适应。人眼对图像量化误差的敏感度与存在量化误差时图像的变化程度有关,图像变化越大,量化误差越不容易察觉(越容易掩盖),也就是说人眼对图像边缘和轮廓的量化误差不敏感,这部分出现的概率小因而可以粗量化,而在图像变化平坦部分的量化误差容易被觉察,而且在图像变化平坦处的预测误差小,出现概率大,应当进行细量化。

  近年来被认为效果最佳的量化器设计方案是利用主观实验进行优化设计,这种方法首先利用主观实验对大量不同的图像测出量化误差与可见度阈值的关系曲线,根据这条曲线选取量化电平,使可能产生的最大量化误差刚刚处于可见度阈值之下,这样既可保证重建图像有很高的主观质量,又把平均量化层降到最少。

7结束语

  长期以来,通过对人眼视觉现象的观测和研究,人们已经发现人眼的视觉特性有很多特点,特别是视觉掩盖效应,可以直接或间接地用于改善视频信息的处理。如何充分利用人眼的视觉特性,已成为现代编码技术中首先要考虑的一个基本问题。


摘自 《中国有线电视》
 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50