從虛擬現(xiàn)實走向復(fù)合現(xiàn)實：高臨場感空間的實現(xiàn)
虛擬現(xiàn)實(virtual reality, VR)是一種能夠創(chuàng)建和體驗虛擬環(huán)境的、由計算機(jī)生成的、給人多種感官刺激的高級人機(jī)交互系統(tǒng)。虛擬現(xiàn)實的特點在于，由計算機(jī)產(chǎn)生三維空間的虛擬環(huán)境，用戶沉浸于其中，并接受多種感官刺激和自然人機(jī)交互。在短短10多年的時間里，虛擬現(xiàn)實技術(shù)獲得了很大的發(fā)展，已成功地應(yīng)用于軍事、航空航天、娛樂、醫(yī)學(xué)、教育、工業(yè)制造等多個領(lǐng)域。
虛擬現(xiàn)實技術(shù)與多媒體、網(wǎng)絡(luò)技術(shù)并稱為21世紀(jì)三大前景最好的信息媒體技術(shù)。隨著器件技術(shù)和網(wǎng)絡(luò)技術(shù)的進(jìn)步，虛擬現(xiàn)實技術(shù)開始走向更加廣泛的應(yīng)用，越來越受到大眾的關(guān)注。
虛與實的融合發(fā)展
早期的虛擬現(xiàn)實技術(shù)及其系統(tǒng)的開發(fā)和應(yīng)用都是基于計算機(jī)圖形學(xué)(computer graphics, CG)系統(tǒng)所進(jìn)行的。在早期的虛擬現(xiàn)實系統(tǒng)中，用戶沉浸在一個由CG產(chǎn)生的封閉系統(tǒng)中完成虛擬空間的視覺提示和模型操作，整個操作過程不能與外界場景進(jìn)行交互。
近年來，隨著需求的提高和圖像處理技術(shù)的迅速發(fā)展，在虛擬現(xiàn)實研究領(lǐng)域，出現(xiàn)了一個新的研究方向，即復(fù)合現(xiàn)實(Mixed Reality，MR)研究方向。它是用戶不斷增強(qiáng)的對與實際場景協(xié)同操作所要求的產(chǎn)物。
復(fù)合現(xiàn)實技術(shù)的實質(zhì)就是虛擬景物與實際場景的和諧融合。所謂虛實融合，就是把虛景與實景相結(jié)合，以構(gòu)造用戶所需的高臨場感虛擬三維場景。虛景與實景相結(jié)合主要體現(xiàn)在兩個方面：虛擬物體被放到現(xiàn)實場景中；或現(xiàn)實場景被融合在虛擬世界中，其結(jié)果使得虛擬對象與現(xiàn)實對象共存于同一個空間。復(fù)合現(xiàn)實是將現(xiàn)實世界和虛擬世界相融合的技術(shù)，它包括：增強(qiáng)現(xiàn)實(Augmented Reality，AR)，它以現(xiàn)實場景為基礎(chǔ)，利用虛擬現(xiàn)實技術(shù)及其相關(guān)裝置提供信息；增強(qiáng)虛擬(Augmented Virtuality，AV)，與AR相對應(yīng)，它以計算機(jī)生成的虛擬世界為基礎(chǔ)，利用圖像處理技術(shù)構(gòu)成融合空間，以提供給用戶更加豐富的逼真視覺信息內(nèi)容。
復(fù)合現(xiàn)實技術(shù)都可以擔(dān)當(dāng)什么樣的角色呢？復(fù)合現(xiàn)實提供的特殊技術(shù)，使得人們可以完成很多以前難以想象的事情。
例如，當(dāng)設(shè)計師想要構(gòu)筑一個虛擬網(wǎng)上三維展示廳時，可以將真實的家具、電器和鮮花圖像放置在其中，以增加真實的魅力；當(dāng)你在博物館中漫游時，目光落在一件非常精美的工藝品的瞬間，相關(guān)的介紹資料將會立刻顯示在眼前；在醫(yī)學(xué)上，醫(yī)生在檢查病人身體時，可以將相關(guān)部位的X線圖像與實際部位重疊顯示，可以增加醫(yī)生觀察的效果；在軍事訓(xùn)練中，士兵在向山包或街道迂回前進(jìn)時，通過復(fù)合現(xiàn)實技術(shù)可以清晰地看到被遮擋的地形和建筑物的位置。
總之，復(fù)合現(xiàn)實技術(shù)可以通過虛與實的結(jié)合，為用戶提供高度臨場感的視覺、聽覺甚至觸覺的感知。
瀏覽真實場景和協(xié)同操作
隨著復(fù)合現(xiàn)實技術(shù)的發(fā)展，在許多重要應(yīng)用場合，對于真實場景的瀏覽和協(xié)同操作具有更加廣泛的需求。例如，通過復(fù)合現(xiàn)實系統(tǒng)進(jìn)行工藝品鑒賞，對現(xiàn)有產(chǎn)品進(jìn)行設(shè)計討論，或是進(jìn)行現(xiàn)場的手術(shù)觀摩等，都需要將真實場景的立體圖像引入具有沉浸感的三維空間中。清華大學(xué)電子工程系圖像圖形研究所和清華大學(xué)網(wǎng)絡(luò)中心共同合作，承擔(dān)了國家CNGI項目中的基于IPv6的高性能視頻傳輸和共享虛擬現(xiàn)實課題。在此基礎(chǔ)上，研發(fā)出了基于虛實融合的共享協(xié)同交互操作系統(tǒng)。下面，我們對這個系統(tǒng)進(jìn)行簡要介紹。
立體攝像裝置
我們研發(fā)了具有“真立體”感的立體攝像硬件裝置和立體顯示軟件處理技術(shù)。為了實現(xiàn)真實的具有沉浸感的三維立體顯示，不采用通常的將一幅視頻圖像進(jìn)行位移而產(chǎn)生左右眼立體視覺的方法，而是采用雙攝像機(jī)系統(tǒng)采集具有真實立體感的視頻圖像，進(jìn)而生成左右眼立體視覺方法。 #p#page_title#e#
為了在今后便于應(yīng)用推廣，我們采用基于USB攝像頭的立體攝像裝置，通過2個高性能USB獨(dú)立攝像頭對目標(biāo)進(jìn)行立體視頻拍攝。然后，通過DirectShow技術(shù)采集視頻圖像，獲得左右兩幅立體圖像存入內(nèi)存中，供后面的圖像處理和圖像合成使用。采集系統(tǒng)見圖1。
虛實融合的交互操作
為了能夠在立體視覺空間進(jìn)行交互操作，我們研發(fā)了視頻圖像與圖形模型(指示光標(biāo))在三維空間進(jìn)行融合的算法。在不同地點的用戶通過與顯示在畫面上的指示光標(biāo)進(jìn)行交互，協(xié)同操作，使位于多地點的每一個用戶實現(xiàn)了同一個信息空間的共享。圖2表示了實際的操作圖像。我們采用二維圖像繪制立體光標(biāo)生成指示光標(biāo)。首先根據(jù)鼠標(biāo)操作信息，生成左眼光標(biāo)，然后疊加在左眼圖像中。同時，為了保證指示光標(biāo)隨物體表面滑動而不產(chǎn)生空中漂浮感，利用特征匹配技術(shù)，在右眼圖像的特定區(qū)域中搜索與左眼圖像光標(biāo)所在位置的相同區(qū)域，然后根據(jù)確定的位置生成右眼光標(biāo)，并疊加在右眼圖像中。
三維立體視頻圖像顯示裝置和顯示技術(shù)
將前面獲得的視頻圖像與圖形模型(指示光標(biāo))虛實融合后的圖像送入幀緩存器，利用DirectShow技術(shù)實現(xiàn)立體顯示。立體顯示裝置為配置了紅外發(fā)射器的有源液晶光閘立體眼鏡。由于當(dāng)倍頻較低時，閃爍問題將對長時間用戶產(chǎn)生生理和心理負(fù)擔(dān)，因此立體視頻顯示中場頻倍頻技術(shù)是亟待解決的一個技術(shù)課題。我們研發(fā)了立體顯示中場頻倍頻技術(shù)及其處理方法，使得主動紅外控制的立體視頻顯示裝置的場頻不低于100場/秒的顯示速率，達(dá)到了實時、無疲勞感的三維立體顯示效果。當(dāng)顯示立體視頻時，可以看到一個立體的指示光標(biāo)同時顯示在物體表面，用戶通過該光標(biāo)可以完成交互操作。圖3是實驗所使用的紅外發(fā)射器和有源立體眼鏡，圖4為實驗場景。
基于IP網(wǎng)絡(luò)傳輸?shù)墓蚕韰f(xié)同操作
整個系統(tǒng)以網(wǎng)絡(luò)為構(gòu)架，通過網(wǎng)絡(luò)通信控制，來達(dá)到遠(yuǎn)程的虛擬現(xiàn)實的圖像的遠(yuǎn)程傳輸和控制。整個系統(tǒng)的通信部分采用Winsock API進(jìn)行開發(fā)，摒棄了其他遠(yuǎn)程控制系統(tǒng)中多采用的阻塞字加多線程的編程模式，而結(jié)合了Directshow Filter的開發(fā)，一起封裝成一個Com接口，大大提高模塊的通用性。
本系統(tǒng)的軟件通信部分主要是基于套接口Winsock控件和Directshow開發(fā)的。網(wǎng)絡(luò)發(fā)送和網(wǎng)絡(luò)接收部分都封裝成兩個Directshow Filter插件，注冊到系統(tǒng)中，這樣方便和其他視頻處理模塊使用。圖5為基于IP網(wǎng)絡(luò)傳輸?shù)墓蚕韰f(xié)同操作框架示意圖。目前我們已經(jīng)完成了基于IPv4和IPv6網(wǎng)的傳輸通信測試。
虛擬技術(shù)的研究 開始走向復(fù)合現(xiàn)實
復(fù)合現(xiàn)實技術(shù)把人類對現(xiàn)實世界所產(chǎn)生的知覺，例如視覺、聽覺和觸覺，與計算機(jī)生成的電子信息相互融合，同時采用自然的方式提供給用戶。其常用的裝置，如在用戶前方通過半透過型顯示器，將視線前方的景物和與景物相關(guān)的、計算機(jī)自動生成的文字和圖形相融合后進(jìn)行顯示。盡管聽覺和觸覺信息的融合也是非常重要的，但是，在一段時期內(nèi)，該研究領(lǐng)域內(nèi)的研究和應(yīng)用還將會主要集中在視覺信息的融合和顯示上。
今后，復(fù)合現(xiàn)實技術(shù)進(jìn)一步需要解決的關(guān)鍵技術(shù)主要包括以下幾點：
數(shù)據(jù)融合技術(shù)
由于需要將計算機(jī)生成的文字和圖形與真實場景中的景物精確重疊后顯示，因此，需要引入場景理解和物體識別技術(shù)。
例如，當(dāng)我們在博物館中鑒賞到一個藝術(shù)品時，計算機(jī)首先要認(rèn)識這件藝術(shù)品，然后顯示介紹文字或者顯示介紹其功能的動畫資料。
再比如，當(dāng)我們對一個產(chǎn)品進(jìn)行再設(shè)計時，產(chǎn)品實物和計算機(jī)所產(chǎn)生的圖形需要在視角投影方向上進(jìn)行精確的位置融合，而且，還需要進(jìn)行基于光照條件的明暗融合。請注意，這種融合不同于電影特技的一個關(guān)鍵點是，復(fù)合現(xiàn)實中所要求的是完全實時的融合。
行為傳感器
為了實現(xiàn)精確的位置融合，復(fù)合現(xiàn)實系統(tǒng)還需要檢測用戶的操作行為，即行為傳感器。
比如，將計算機(jī)生成的一個虛擬鐘表模型放到前方實際場景中的書桌表面上時，我們需要檢測出用戶的頭部位置和方向，然后在顯示器中將相應(yīng)視角的鐘表模型與桌面重疊。并且，當(dāng)頭部位置變化時，模型的大小和形狀相應(yīng)發(fā)生改變，以達(dá)到高度臨場感顯示。 #p#page_title#e#
自然交互操作
自然交互操作主要包含兩個內(nèi)容，一是對物體的自然交互操作方式。例如，由于二維鼠標(biāo)不易完成三維空間操作，需要研發(fā)能夠直接進(jìn)行三維空間操作的裝置。二是觸覺的力反饋提示。它主要提供在高臨場感空間中的位置反饋信息。例如，當(dāng)用戶將計算機(jī)生成的一個虛擬鐘表模型放到前方實際場景中的書桌表面上時，如果有了力反饋，用戶很容易感覺到物體放到桌面上的那一瞬間。
力反饋技術(shù)也是虛擬現(xiàn)實中的關(guān)鍵技術(shù)，盡管目前尚不成熟，但發(fā)展?jié)摿薮蟆?/p>
基于網(wǎng)絡(luò)的共享系統(tǒng)
早期的虛擬現(xiàn)實技術(shù)及其系統(tǒng)的開發(fā)和應(yīng)用都是基于本地環(huán)境的封閉系統(tǒng)所進(jìn)行的，整個操作過程不與他人進(jìn)行協(xié)同和交互。近年來，隨著虛擬現(xiàn)實應(yīng)用的發(fā)展，人們開始對實時、交互、協(xié)作的同步共享虛擬現(xiàn)實環(huán)境提出了強(qiáng)烈的要求。共享環(huán)境將會使多數(shù)人在一起有效地工作、觀察或討論。隨著互聯(lián)網(wǎng)技術(shù)的普及化和高速化發(fā)展，在虛擬現(xiàn)實研究領(lǐng)域，人們對在線虛擬現(xiàn)實或稱共享虛擬現(xiàn)實的研究正在展開。
共享虛擬現(xiàn)實系統(tǒng)是虛擬現(xiàn)實技術(shù)與互聯(lián)網(wǎng)技術(shù)相結(jié)合的最新發(fā)展方向。分布在不同地理位置的用戶，通過互聯(lián)網(wǎng)連接到一個由計算機(jī)產(chǎn)生的網(wǎng)上的三維環(huán)境，用戶在該三維環(huán)境中，可以觀看三維景觀，可以前進(jìn)或變換觀察角度，也可以通過人機(jī)交互裝置與虛擬物體或其他用戶進(jìn)行交互操作。在這樣的系統(tǒng)中，用戶可以佩戴上頭盔顯示器、立體眼鏡，或者數(shù)據(jù)手套等特殊裝置，也可以脫離這些裝置而置身于如洞穴式(CAVE)的大型三維顯示環(huán)境中。共享環(huán)境使得遠(yuǎn)隔地點的多個用戶能夠在此空間內(nèi)實現(xiàn)以前難以實現(xiàn)的跨越時空的信息交互，完成在此之前難以完成的許多重要任務(wù)。
那么，再經(jīng)過十年的時間，復(fù)合現(xiàn)實技術(shù)將會達(dá)到何種程度呢？這是人們十分關(guān)心的一個熱點問題?？茖W(xué)家預(yù)言，復(fù)合現(xiàn)實這樣一種新型人機(jī)交互技術(shù)將逐步開始進(jìn)入實用化，并會給我們的生活帶來極大的影響。
