MPEG-4系統之實作與研究

前言

MPEG-4標準是目前最先進的多媒體標準。台大多媒體實驗室至1997年以來, 一直致力於解決MPEG-4標準的諸大難題, 而其中DB組, 則致力於將MPEG-4系統完整實作, 本研究與太極影音有限公司合作, 目前已經有多項研究成果, 以下便是最新研究的相關內容介紹。

 

MPEG-4編輯系統使用者介面

 

MPEG-4編輯系統於JavaScript程式撰寫模式

 

MPEG-4互動場景編輯平台對各物件進行編碼並輸出成MPEG-4檔案

 

研究動機

想像未來互動電視所引發的種種應用, 在未來, 互動電視不再只是單純的一廂情願的由伺服器播放影片, 而是提供給使用者一種高互動性的媒體, 將自主權交給使用者, 使用者可以在廣告播到一半時, 要求給予更多相關產品的資訊; 也可以在股市分析節目中, 調閱某家公司一年來股市的表現; 觀看棒球節目時, 查閱兩隊上場球員的過去戰機; 更可以擁有隨傳視訊的功能, 讓使用者可以想在什麼看節目就可以在什麼時候看, 不必再傻傻等候8點的來到; 無聊的時候, 更可以利用互動電視打打線上遊戲, 或是讓孩童利用電視教學玩各種CAI教學。

想想這樣的多媒體架構所遭遇的問題, 整個架構必須有以下技術以及模組 :

  1. 完整的Audio、Video的解壓縮模組, 以提供高品質的影音播放所需,
  2. 將媒體利用串流(Streaming)或是廣播(Broad-Cast)技術傳送至媒體播放端,
  3. 合成各種異質多媒體資料(2D/3D Graphic, Video, Audio, Image, Animation)並呈現,
  4. 同步各種多媒體資料的播放,
  5. 一個夠彈性的媒體框架使得媒體作者可以提供給使用者一種互動性更高的新型態媒體, 讓媒體作者可以在媒體中可以加入程式碼, 以增加各種應用的可能性。
這樣的媒體趨勢與應用勢在必行, 為了因應這樣需求, MPEG-4標準便油然而生。

關於MPEG-4標準

當多媒體系統的發展繼VCD(MPEG-1)、DVD(MPEG-2)之後, 接下來, 還能有什麼發展與突破呢? MPEG制定群於1994年正式展開下一個國際標準的制定-MPEG-4, 並在1998年12月完成此標準。這個標準, 攬括了目前所有的多媒體領域, 試圖利用一個標準統一所有多媒體的技術, 並利用物件概念徹底顛覆目前以畫面為主的傳統媒體, 取而代之的, 是一個可以整合現今3D/2D Graphic、 Animation、Video Codec、Streaming、Interactive與Programmatic的複合環境, 在這樣的環境下, 如何設計與實作一個可行以及有效率的多媒體核心便成為MPEG-4成功與否的重要關鍵。

MPEG-4標準的出現的原始意義就在實現以上所稱的新型態的互動性多媒體。一般在大家的認知中, MPEG-4是一種新的Video壓縮標準, 然而, 這不過是MPEG-4系統中的其中一環而已。MPEG-4標準可以整合目前許多的多媒體應用, 利用一個強大的多媒體框架, 可以讓一個符合MPEG-4標準的硬體(掌上型MPEG-4播放器、互動電視機、Set Top Box)或是軟體(MPEG-4媒體瀏覽器)可以播放或是執行各種不同的多媒體應用, 達成多媒體應用可以在各種不同平台透通的目的。

 

MPEG-4是一種將各種多媒體技術整合的國際標準, 不只是Video以及Audio, 還包括各種常見的多媒體元素, 可以呈現顛覆傳統媒體的各種應用。

MPEG-4標準可能實現嗎? Yes, we did it.

MPEG-4系統是目前公認最複雜的多媒體標準, 實現整個MPEG-4系統所需的知識太多太雜, 每個環節都充滿著挑戰, 目前大部分的公司都只實作純粹的MPEG-4影音方面的解壓縮器, 真正實作出可以呈現2D畫面的MPEG-4應用媒體已經寥寥無幾, 更何況說將整個MPEG-4技術完整呈現的系統。別懷疑, 這正是本人論文的研究。本論文直接挑戰眾所皆知的多媒體難題- MPEG-4系統, 本研究是目前世界上唯一可見整合幾乎所有MPEG-4技術, 並且對如何播放與編輯MPEG-4這樣複雜的媒體作了一番深入的探討。本論文於2001以及2002年於IEEE電路與系統協會(Circuit and Systems Society)與MPEG-4產業聯盟(MPEG-4 Industry Forum) 於美國San Jose共同舉辦的第二屆與第三屆MPEG-4 Workshop中展示與發表所研究的整套MPEG-4解決方案, 更是在場學術單位以及業界單位中實做MPEG-4系統最完整的, 因此, 受到許多學術單位與廠商的高度重視, 成功的將國內MPEG-4的技術水準拉到了國際級的領導地位。

本研究可能之應用範圍

本論文所提供的MPEG-4互動場景編輯平台是一個General MPEG-4 Content的Authoring Tool, 它可以應用至開發編輯任何欲儲存為MPEG-4檔案格式的Rich Multimedia Content。由於MPEG-4標準的制定目的欲整合所有的Multimedia Content, 能適應於各種特性不同的異質網路以及消費者裝置(圖4-1)。從應用開發者的角度來看, 由於具備整合各式媒體的能力, 創意的發揮較不受限制, 可針對不同的需求選擇適合的呈現方式。Content製作完成後, 撥放就不僅侷限於特定的平台, 達到Write Once, Play Anywhere的理想, 可充分發揮媒體的價值。

 

至於其所編輯完成之MPEG-4 content的應用範圍, 可以包含所有的Multimedia Applications, 僅列出數個較大的應用類別於下列表:
應用類別 主要功能需求 應用實例
Interactive TV High Quality
Interactive Content
Two way channels
互動電視
Mobile Devices Low Bitrates
Error resilience
Scalability(scalable coding)
i-Mode加值服務
行動視訊
Streaming Services Low to Medium Datarates
Scalability(scalable coding)
Interactivity
VOD
On-line E-learning
On-line Games
On-disk Distribution High Datarates
Interactivity
3D Objects(environment)
高畫質影音(DVD)
E-learning
3D Games
Broadcast On-demand Services
"MPEG-4 over MPEG-2"
VOD
DVB over IP