一、導言

目前多媒體系統的特點在于綜合了計算機合成、存儲、通信、處理，以至多媒體的再現演示。其中，值得研究的一個關鍵問題，即是各種多媒體數據信號的同步問題。

不妨先以電影中出現的現象為實例來加以體會或理解，電影膠片的畫面邊緣，制有音跡，在電影放映過程中，在映像投射在影幕的同時，音跡也由放映機進行光電轉換，還原出聲音，影片制作時，畫面與音跡同存于一個膠片框內，而放映時又同時“表現”出來，這就油然完成了圖像和聲音兩媒體對象的嚴格同步。而在譯制片中，配音演員要注意觀察影片中演員的嘴型動作來配臺詞，這就是所謂的“唇同步”(Lip Synchronization)，之中反映了視頻媒體與音頻媒體之間在時間上的相互依存關系。類似地，影片中還有一些例子，如電影膠片兩邊的齒孔，與放映機的電機配合，按照一定的速度運轉，速度的快慢會立即相應地影響音調的高低，當然影片中畫面所受的影響并非那么靈敏；由于影片膠片的長度所限，兩臺放映機交錯放映，這時兩者的銜接，要由放映員根據銀幕上出現的用于“同步”的“白點”來進行……

在多媒體系統中，同步的內涵則要復雜得多。一般說來，同步可認為是相對時間而言，而更為廣義地認為，在多媒體系統中應包含多媒體表現的內容、空間和時間關系。這里需區分時相關媒體和時無關媒體。時相關媒體流中的連續單元之間有相應的時間關系，如視頻信號包括一定數量的幀，每一幀均具有固定的時間段。時無關媒體是一些諸如文本、圖形等類的媒體，其“表現”的意義，并不取決于時間段。在時相關媒體和時無關媒體之間則往往存在相應的內容上的同步關系，如圖表與語音合釋，圖像或語音與旁白文字注釋等。當然從另一角度上看，這兩者之間的內容關系也反映兩者在時間段的關系。多媒體信息間的空間意義也可有多種反映，如某可視媒體在顯示器屏幕上的顯示位置，先后出現的關系等；而對于聲音這一不可視媒體，則安排它在聽覺空間與哪一些可視媒體同步?？梢暶襟w之間也有空間關系，如表現花園別墅的畫面，可從大門開始，然后拉伸鏡頭，反映建筑物與地面之間類似“上下文”的關系。

在多媒體系統中，同步的內涵還應含有多層次或多級的劃分。諸如，用戶級同步、復合對象內部同步、系統同步等。從多媒體節目的創作到演示，涉及了一系列的過程，其中有節目的腳本、拍攝、數據取樣處理，媒體的存儲、傳送、演示再現等等，在其中，應指出信息交互。用戶可以控制和使用信息，如反復調用有興趣的進球，沖刺畫面，快速掠過不感興趣的部分等等，用戶級同步是交互性參與的同步，在腳本的制作時就應考慮用戶的需求。

媒體的處理或傳送是以信息元（BIU，Basic Information Unit），也稱數據邏輯單元(LDU，Logic Data Unit）為基本單位，媒體對象可以劃分為若干不同的信息元，并依次序進行串行通信，自然，在再現時也會有媒體間的同步問題。

此外，在通信中媒體不可避免地受到干擾，產生延遲或抖動，乃至LDU次序的變化等，這就需引入系統同步的概念。

總之，多媒體的同步是指協調時序關系的機制，而空間通常可考慮融合入時間概念之中，如是同步的方法主要是基于時間上的方式。

二、同步的分類

同步的分類，包含有內容同步、空間同步和時間同步，它們分別描述了媒體對象內部或媒體對象之間在內容、空間和時間上的關系。

內容同步定義了媒體對象的內容或數據和表示規則或表現形式之間的依賴關系。比如說，數據的表格和反映數據的圖形，兩者均取于同一組數據，而表現方式不同；又比如說，有兩種不同的圖形，如直方圖和餅圖，其演示形式不同，但也是基于同一組數據。因此兩者在內容上相同，只是表現方式不同，或者認為是同一內容，有不同的描述方式。

在多媒體文件的制作中，內容同步的確立是有用的?？梢越⒈硎緮祿c視圖之間映射關系的“對象接口”，可以輸入相關的數據而不直接去編輯視圖，自動生成相應的圖表、圖形等視圖。這也拓展了數據庫在多媒體系統中的應用。

空間同步一般認為是布局關系，也就是在多媒體的表現中，在某一時刻多媒體對象的空間位置關系。空間關系可以是二維或者是三維的。桌面出版物中，空間關系常用格式或框架來表達，這些框架結構常賦予某一個位置，某一個顯示窗口及相應的面積。用戶可以根據需要，移動窗口，也可放大或縮小窗口，進行相應的編輯操作。在三維顯示系統中，可進行三維的投影或全息顯示。三維方式一般采用了重疊窗口方式，如對立體聲的音響輸出可進行布局；又如在會議電視中，與會者的座位，及音響輸出可以進行定位。這樣演示顯得更加自然逼真。系統應該允許用戶創建三維顯示，并進行編輯操作。

時間關系定義了媒體對象及媒體對象間在時間上的時間依賴關系。這是媒體間關系的主要方式，在以上所談的內容關系和空間關系往往也可以歸結在時間關系上來描述。

三、同步的分級

1、用戶級同步

交互同步(Interactive Synchronization)，或“表現”(Presentation)級同步，是最上層的同步。該級同步需從用戶的角度出發，來設計模型框架。所設計的模型要能反映和滿足用戶的交互性，容易為用戶所理解，這種模型一般以時間為控制線索。

多媒體的腳本，類似于電影的腳本，對小說的內容，結合了故事情節的交化發展，考慮到何種場景、次序、人物的形象語言等因素，以一個個的鏡頭來呈現給觀眾。但是多媒體腳本還應考慮允許用戶的交互參與活動。用戶可以根據場次的控制，借用菜單選擇等具體手法來控制流程，如反復觀察某一動作細節，放大局部的圖像，掠過用戶所不愿意或沒有多大興趣的場面等。諸如在外語教學中，可以反復收聽難以理解的聽力段落；在欣賞足球比賽的實況轉播中，可固定住“越位”或“進球”動作的場面，在了解偵察破案的鏡頭中，可仔細觀察其中的局部細節等等。這種交互性的參與導致了腳本的場次并非按原定的線性關系延續，而可有多條路徑。這是多媒體腳本的表現和電影中劇本的表現所不同之處，可以作為多媒體表現的特征。多媒體的表現或演示，相對于電影或電視完全受制于導演的安排而言，允許用戶的介入，正是其魅力之所在。用戶級的同步擴展了多媒體演示的功能。

2、媒體間同步

媒體間同步(Intermedium Synchronization)，或稱合成同步，是LDU的合成，或不同媒體類型的數據之間的合成，其中蘊含了空間、時間的合成。

要進行數據傳輸，必然要把圖像、語音、文字等多媒體信息，轉換為數據流形式，并依串行方式在通信系統中傳送至用戶端。LDU作為數據塊，其大小與應用有關，可以是一幀、一復幀或分鏡頭等。在連續的媒體流中LDU播放的時間是相同的LDU之間的時序關系在捕獲或生成的過程中業已形成，并要求在播放時得到精確的重現。在連續的LDU之間任何時間的抖動將會影響播放的質量。而與時間無關的媒體沒有媒體內部的同步問題，媒體間同步反映了各不同媒體對象之間的同步關系。唇同步是在自然客觀的情況中，所獲取的視頻和音頻之間的時間關系。而在很多情況中，各個獨立生成的諸如文字、圖像、旁白等媒體對象，則是依腳本的要求，來指定這些媒體對象之間的時間關系。

另外，在計算機支持協同工作(CSCW，Computer Supported Cooperative Work)中，所有的參加者在自己的桌面上有一個相同內容的窗口，在該窗口中，有一個公用的指針標志，即有一個指針同步(Point Synchronization)。指針同步實質上反映了媒體對象之間在時間上的同步關系。

為了進一步理解媒體間的同步，可以對靜態和動態的媒體對象，以及它們之間的同步相合成，作更多的描述。靜態和動態是相對于時間軸而言的。若在某個時間段上表現保持不變，則為靜態，而在不同時刻表現的內容在不斷地變化，則為動態。文字注釋屬于靜態對象，音頻和視頻則可屬于動態對象。對象的合成包含了靜態對象和動態對象的三種組合方式，即靜態與靜態、動態與動態及靜態與動態，可分別稱之為靜態型合成、動態型合成以及混合型合成，靜態型的合成對象的表現主要涉及對象各成分之間的空間組織，如黑板與黑板上的粉筆字之間的位置關系；動態型的合成對象的表現主要考慮對象成分之間的時間依賴關系，如運動圖像和語音解說及音樂烘托之間的時序關系。而混合型合成對象則需要同時考慮在空間和時間兩個方面，如文字與語音的結合。文字的顯示有空間關系，而文字的顯示與語音播放相匹配，也就是“寫到哪兒，念到哪兒”，具有時間上的依存關系。

靜態與動態是相對的，靜態對象在表現時，由于與動態對象的表現在時間上的關聯性，而具有了動態性，而動態對象可以看作是許多靜態對象的組合，在動態圖像的處理上，動態圖像往往作為某一個時刻上的靜止圖像來進行加工。同樣空間合成與時間合成不是相互隔離的，而是統一的。多媒體對象在表現過程中與時間相關，同時在每個表現點上也與空間相關。多媒體之間的合成，或同步，其調度策略是以時間為主線，附加各自的空間。

3、系統同步

系統同步或多媒體內部同步（Intramedia Synchronization）是底層同步。所謂系統同步，是指該層的同步如何根據各種輸入媒體對應的系統設備的性能指標來協調實現其上層合成同步所描述的各媒體對象間的時序關系。在單機條件下，同步技術要涉及媒體的存取速度，壓縮解壓的生成和還原時間、圖像的顯示和聲音的播放等時間因素，而在通信系統中，則要考慮多媒體數據段在傳輸變換中的延遲、抖動、分組中的時間次序錯位、丟失等情況，要考慮不同類型的媒體數據段對于通信中的吞吐量、最大時延、最大抖動、允許誤比特率、允許誤分組率的不同的實際要求。此外，還要進一步分析研究經過壓縮編解碼的多媒體數據在數據通信中所受到的影響及其帶來的嚴重性。故而多媒體通信的同步機制是相當復雜的。對于傳送多媒體的通信平臺，應根據不同媒體對象的需求特點，分析其所需QoS，決定傳輸策略，安排不同的傳輸信道，采用合適的通信規約，選擇相應的交換方式等等。例如對語音可采取延遲短、延遲變化小的傳輸方式，而對數據要采用可靠保序的傳輸方式。在通信中需要認真考慮的多媒體的同步問題，而在用戶端的媒體輸出時，計算機終端也應考慮協作，承擔多媒體的同步問題的處理。

在現實情況中，多媒體通信系統是個資源受限的系統。所謂資源受限表現在以下兩個方面。其一通信信道帶寬受限，其次是終端計算機存儲容量受限。如果這兩方面不受限制，同步的情況要好得多。比如說，若信道帶寬不受限制，那么就可以比較好地安排各種媒體信息間的關系，各種類型媒體流可以及時到達終端，以便于忠實地再現腳本的內容。而若存儲的容量足夠大，就可以通過先把所有信息全部接收下來，然后再組織各類媒體數據流的方法實現同步播放。當然，兩者不可偏廢，若僅僅是容量足夠大，而傳輸帶寬不夠，在存儲器的多媒體數據播送完畢，后續的數據流就不能及時跟上，這就可能出現存儲器的“餓死”現象，相當于出現一臺放映機放映完畢之后，而另一臺放映機沒有電影膠片，放出“空片”，從而造成斷片現象。若傳輸帶寬非常大，顯然是不經濟的；存儲容量過小，又有可能“擁塞”，尚未輸出的部分緩存數據會被覆蓋。存儲容量對于帶寬，或者說是對媒體LDU的先后到達，特別在媒體對象類型不同的情況下，起了補償，或者說是緩沖作用。