适应数据流多媒体的视频编解码方案
发布时间:2006-10-14 4:15:51   收集提供:gaoqian
  小型显示屏采用数据流、数字视频技术已为时不远。内容创建者、服务提供者、供应商和设备制造商正热切地期待高速2.5G和3G移动网络的到来和高效、高性能、可互连的便携式设备的进展。在所有层次,这个行业将在未来5年内为消费者加速实现视频的梦想。

  视频性能已超过新设计的压缩与解压(编解码)技术。下一代编码器与解码器将是更先进的,或者说更具“智能”的,需要效率更高,处理能力更强的解决方案,以弥补在手持式或其它移动设备上观看稳定的,清晰的,最终是交互式视频图像所要求的高计算强度的操作。RISC处理器、DSP、以及各种新技术正被用来应付日益增长的负荷。

  数字数据虽然听起来很简单,但实际上是这样吗?数据流视频技术并不这么简单。在移动设备上实现数据流视频需要多媒体和相应的支持技术,目前这些技术仍处于萌芽阶段。在这些努力中,最有前途的是MPEG—4标准,正日益得到全球供应商和服务商的青睐,可在低功率、低位率无线系统上发送和接收视频图像。

  运动图像专家组(MPEG)是ISO/ICE的一个委员会,负责开发数字视频和音频代码表示的标准。MPEG-4是一个国际公认的标准,用来处理音/视多媒体内容的传输、同步、编码和重现,包括因特网和移动应用的各种规范。

  MPEG-4主要功能包括高效压缩和解压;错误修复;带宽可扩充性(涵盖了自HDTV与PC直至蜂窝电话与PDA);网络与传输协议独立性,内置IP保护;处理图像的目标基交互性。

  最近,MPEG-4的第二个版本对3级发送进行了优化:低速,位率低于64kbits/s;中速,64~384 kbits/s;高速,384 kbits/s~4 Mbits/s。标准既适用于恒位率(CBR),也适用于变位率(VBR),这两种方式对移动设备都很重要。这3个级别也能描述视频的最大目标尺寸,解压用每秒宏模块,以及缓冲器大小。

  对目前使用的14.4 kbits/s移动电话数据率,约能发送1~3fps(每秒帧数)视频,而电视为30 fps。fps受场景中运动物体个数、图像大小和可使用带宽的影响。

  MPEG-4不仅规定了视频,它还包括音频、电脑生成的图像、以及内容基交互性。它支持YUV4:2:0彩色格式;非对称压缩(为了节省空间,压缩视频时间比解压长);且包括瞬间可扩充性(在解码由编码器生成的总位流的子集时,以降低了的瞬时分辨率重建并显示视频图像)。MPEG—4视频编码方案是基于DCT(分离余弦变换)算法的。

  MPEG—4标准支持下列3类中的8个主要功能:交互性,压缩,和通用访问。8个功能是:目标基多媒体访问工具;目标基位流处理和编辑;目标基随机访问;自然数据码和合成数据码的混合;改进的视频压缩效率;防止信息出错和丢失的坚固性;目标分辨可扩充性;以及目标可扩充性。移动设备只支持上述所有功能的一部分。

  表示自然视频图像信息有6种不同的目标类型:简单型,简单可扩充型、高级简单可扩充型、核心型、主型、 和N位型。静止可扩充结构是静止自然可视化信息的目标类型;简单的表面是合成表面动画的目标型;混合信息目标型是2维动画网格和基本动画结构。简单、高级简单可扩充、静止可扩充结构可能是未来移动应用最常见的目标型。

  人物外形指可在场景中复原的最复杂可视化目标型。例如,对移动视频电话,最合适的人物外形可能是简单的外型。该外形中允许的唯一目标是简单型。该外形也适用于将图像存储在存储器卡或嵌入式存储器中的产品。

  今年1月,MPEG在从事其它工作的同时,采用细粒度可扩充性和高级简单外形,完成并通过了其MPEG-4视频编码的扩充,高级简单外形是对因特网数据流进行优化后的外形。高级简单外形可与细粒度可扩充性一起使用,来改进因特网数据流在各种条件下的质量。

  无线多媒体论坛(WMF)最近宣布了对MPEG-4简单外形的支持。该组织约由60个行业成员组成,包括Emblaze Systems(前身是GEO Interactive Media)、Hitachi、Intel、Luccent Technologies、Matsushita Communication(Panasonic)、 PacketVideo、Parthus、Samsung Electronics、Sanyo、TI、Toshiba America Electronic Components以及Zucotto Wireless。

  总的说来,MPEG-4定义了在不同系统层上处理音频、视频信息的先进、高效压缩算法用的工具。有两种正式的MPEG-4视频编解码的执行工具:一个是欧洲工程ACTS-MOMUSYS提供的C语言;另一个是Microsoft提供的C++语言。任何MPEG成员可从MPEG Web站点(www. Cselt.it/mpeg)下载这两个工具的源代码。

  MPEG-4标准无线应用的一个要素涉及称为Newpred(新预测)的错误修复技术。它利用从解码器到编码器的上游通道,在实时编码应用中提供快速的错误修复。为了对网络的各种错误状态作出反应,编码器可从基准帧交换至适应帧。据MPEG报告,Newpred可达到约5%的因特网视频包丢失率。

  运动评估是该标准在低功率、低位率应用中的另一个要素。由于MPEG-4是依靠内容型编码的,用基于目标的运动评估工具对视频场景中的每个目标进行评估可实现高效率的压缩。运动评估可用来减少接收端重新产生整幅视频图像所需的数据量。评估是这样完成的,即分析视频传输的第一帧,将图像的静止部分存储在缓冲器中(也就是场景中的布景);冗余数据放入后继帧中,仅处理视频的运动部分来创建运动图像。MPEG-4所采用的运动评估算法使用最少周期数来计算运动矢量(不降低质量),以减少评估时间和功耗。

  运动评估是视频编解码中计算强度最大的功能,也是编码速度迟缓的主要因素。很多半导体公司正在研制自适应的DSP和RISC微处理器,或创建新型体系结构,来处理无线设备和因特网家电上多媒体应用的繁重工作负荷,同是保持低功耗和高性能特性。

  体系结构提供视频数据流传输的总体结构,而编解码器完成实际的压缩/解压功能。编解码器在体系结构中创建的文件结构称为格式。

  有很多公司从事编解码器的生产,有的用硬件,有的用软件。软件基编解码器具有成本低的优势,但压缩/解压速度低,且CPU工作强度大。软件编解码器常可从因特网免费下载。Microsoft的Windows Media;RealNetworks 的RealSystem;Apple的 QuikTime,这些软件视频结构支持保证兼容性的MPEG-4编解码方案。

  RealNetWorks与 Nokia合作,将该公司的数据流媒体播放软件安装在生产厂的下一代移动电话中。

  硬件编解码高效、高速地压缩与解压视频文件。由于手持式设备的计算能力、存储空间和电池寿命有限,而硬件是视频功能专用的,可分担CPU的任务,因而十分适合这类设备应用。缺点是实施的成本高,缺乏更新和改变编解码方案的灵活性。

  解码器同步、管理并回放视频图像;而编码器将大量视频数据压缩成包,小到足以高效地传输、存储并观察。某些视频产品具有编码器和解码器两种功能,有些仅有其中某项功能,视最终用户而定。

  例如,数字相机没有外部信号源,由相机本身提供信号,因而无需视频解码器。而数字视频记录仪就需要视频编码器和视频解码器。

  要是设计人员在大量数字电路中集成A/D,会在模拟电路引入大量噪声,从而降低整个芯片组的性能。所以需将A/D从数字ASIC或DSP中分离出来。

  TI公司最近将推出THS8135编码器的样品。它基于MPEG-4目标基压缩,供高端便携式产品中的混合信号应用,如Web Pad、数字视频摄像机、数字相机,以及便携式DVD播放机。它提供集成化双/三级同步插入、支持PC图形卡、改进的通道匹配、单电源1.8V~3.3V工作、以及通用D/A方式。THS8135还具有专用Power PAD封装的特点,降低了热结室温电阻,使封装温度更低。

  4月份,TI推出TMS320DSCx族可编程DSP解决方案的第二个成员DSC24,它也供因特网家电和高端便携式设备使用。DSC24是组合了DSP与处理器的单片解决方案,其中低功率TMS320C 5000DSP完成实时媒体处理,而ARM7TDMI RISC处理器完成系统控制功能。可编程硬件多媒体加速器执行并发处理,提高专用视频性能。DSC24体系结构也可以移植到TI的DSP基OMAP(开放式多媒体应用平台)体系结构,它充分利用了TI的TMS320C55x DSP和TI增强型ARM9处理器。预计下季度能批量生产,同时也提供评估模块。

  在1月份MPEG会议上,提出了通过新视频压缩工具的建议,对MPEG-4视频标准进行正式的测试,在工作组的7月会议上进行主观测评。MPEG也十分关注基准硬件描述,解决计算和存储问题。

  随着MPEG-4标准得到广泛的支持,更多的视频编解码产品制造商正在研发和提供针对便携式设备OEM的MPEG-4兼容的硬件和软件。

  2月份,Matsushita(Panasonic)宣布已研发成专用MPEG-4芯片,可对手持式设备中任意形状的多个目标编解码。这是一种针对WCDMA、PDC(个人数字蜂窝)和其它种移动电话设计的多编解码LSI芯片。

  为了处理复杂的计算,除了要求处理功能强以外,适当的存储器也是十分必要的。存储器容量与所支持的视频对象的数量和大小以及场景中运动的个数有关。

  在芯片中嵌入DRAM,无需外部存储器,既能编解码,又能处理图形与视频图像的合成。Matsushita和Toshiba两家公司都采用嵌入式DRAM和时钟门控技术,来降低MPEG-4编解码的功耗。

  MPEG-4是Toshiba的业务重点,该公司已拥有几项该技术的专利。它也是Siemens的合作伙伴,它们共同研发为未来3G移动电话使用的MPEG-4兼容器件。Toshiba最近在MPEG-4产品中上增加了两种芯片,都是瞄准高端便携式产品的。

  TC35274XB实现15fps的MPEG-4视频编解码,以QCIF(quarter common intermediate format)进行视频显示,工作在30MHz时钟频率。视频芯核由16位RISC处理器和专用硬件加速器组成,可在高性能、低功耗基础上进行编程。TC35273XB是视频编码器/解码器器件,并带有一个在70MHz时钟频率下支持多个音频编解码的音频编解码器。单芯片上集成了三个信号处理单元,包括MPEG-4视频编解码器、音频编解码器、以及复用/解复用单元。

  实现MPEG-4有多种不同的方案,可用独立的微处理器,也可执行某种软件程序。由于Toshiba追求的是移动目标市场,因此其方案从一开始就主张真正的高度集成。

  Packet Video在为无线应用部署MPEG-4标准中起着重要的作用,它的软件已被近40家公司选用,涉及服务提供商至手持式OEM。公司的MPEG-4产品可以在移动设备中完成完全运动视频图像的编码、解码和传输。它的PVPlatform1.0多媒体解码器支持所有主要的数字移动电话标准,包括GPRS和UMTS,并已用于Compaq、Casio、Hewlett-Packard连接的Pocket PC和Sony的CLIE。目前,这些支持都是通过视频剪辑完成的。

  年初,PacketVideo申请了第一项专利,各称为“运动补偿,块型压缩数字视频的可变复杂性解码的方法和器件”(专利号6167092)。专利描述了DCT算法的高效实现,极大地降低了计算的复杂性。在手持式设备中进行快速的压缩,可降低处理功率,延长电池寿命。

  今年1月,Motorola和Packet Video宣布共同在下列设备上实现完全运动的音、视频功能,这些设备包括智能电话,无线PDA,手持电脑以及笔记本电脑。两家公司打算将合作建立在Sun Microsystems 出品的Java2,Micro Edition(J2ME)平台上。Motorola的未来iDEN网络手持产品将采用这项新的技术。

  Qualcomm的MSP1000应用处理器通过Packet Video的解码器,也支持移动电话应用中的数据流视频。MSP1000解决方案内置ARM微处理器,提供至Qualcomm的MSM IC族和2G~3G网络射频单元的直接接口。该芯片支持通用的手持式操作系统。

  Packet Video优化的MPEG-4解码软件主要供DSP使用,包括TI的OMAP和Starcore(Motorola/Agere)的SC100。解码器还能在ARM和StrongARM RISC芯核上工作,以便充分利用这些微处理器的基带处理功能。该解决方案也正在对Intel的新型Xscale应用处理器进行优化,这是一种电压可从1.6V变至0.75V的RISC基微结构处理器,解决移动电话多媒体应用的功耗问题。

  Intel正将Xscale升级为DSP基结构的一种替代方案,尤其是对MPEG-4应用。该公司声称,在手持式设备中,音、视频数据流的处理性能介于300~400MHz范围。它与ARMv.5TE指令集完全兼容,也支持16位Thumb和集成化DSP两种指令。

  Quicksilver Technology提供的是ACM(自适应计算机器),也不失为DSP和常规微处理器以外的一种选择。公司认为,该产品是“新一类数字集成电路技术”,可直接嵌入在手持式装置和其它移动设备中。ACM结构的特点,在于固有的系统自适应性,其动态算法可直接映射至动态硬件资源中。采用该方案,ACM中实现的每个功能可有效地使用它需要的资源,然后被改写成芯片要实现的下一个功能。据公司透露,采用ACM动态逻辑实施方案的MPEG-4设计,在保持高性能的同时降低了功耗,其功耗仅为可与之相比较的DSP的一半至十分之一。

  2net FX以及它的数据流媒体MPEG-4兼容开发软件瞄准802.11b基无线移动网络市场。该公司认为:“MPEG-4适合于无线环境,我们预见到,笔记本电脑或Web图形板上数据流视频市场比PDA或蜂窝电话市场的更大,这些产品目前甚至很难实现音频连接。”

  2net FX产品涉及ThunderCast,一种先进的媒体服务器;和Stream Rider,一种客户方多媒体播放器。公司已为Minerva MPEG-4 VNP40编码器创建了界面,正在为集成Zapex、 Optibase和Microsoft编码器研发界面。界面正在以 Sigma Designs、 Microsoft和Apple解码器为核心研发。

  Emblaze Systems和Samsung Electronics最近推出了首款数据流视频移动电话,它支持MPEG-4。该产品基于Emblaze的低功率A2Plus视频蜂窝解码器ASIC芯片。移动用户拨号进入服务提供商的Emblaze视频服务器。这样,用户可以访问内容库中的视频内容,库是一种统一的含有电子邮件和视频电子邮件的邮箱。内容库可包括新闻、体育和财务反馈信息。用户选择一个节目后,视频数据流即送到手持式装置。在亚洲已有这种电话,预期明年进入欧洲,再就是美国。

  目前,移动电话网络的速度实在太慢,难以支持除非常基本的多媒体以外的各种业务。既使有了MPEG-4带来的种种好处,很多公司仍处在设计带视频功能的移动设备的研发阶段,正逐步实现未来2.5G和3G高速网络视频和多媒体业务与产品的目标。■

摘自《电子产品世界》
 
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50