虛擬現(xiàn)實與VRML－第二章虛擬現(xiàn)實的接口設備.ppt

《虛擬現(xiàn)實與VRML－第二章虛擬現(xiàn)實的接口設備.ppt》由會員分享，可在線閱讀，更多相關(guān)《虛擬現(xiàn)實與VRML－第二章虛擬現(xiàn)實的接口設備.ppt（148頁珍藏版）》請在裝配圖網(wǎng)上搜索。

山東理工大學虛擬現(xiàn)實實驗室虛擬現(xiàn)實與VRML 虛擬現(xiàn)實與VRML 第二章虛擬現(xiàn)實的接口設備 第一節(jié)位姿傳感器 1 位姿傳感器要求 機器人 生物學 建筑 CAD 教育等應用領(lǐng)域 都要求知道運動物體實時的位置和方向 虛擬現(xiàn)實系統(tǒng)則要求知道人體各部分實時的位置和方向 1 3 D空間中的運動的剛體具有三個平移 沿著X Y和Z軸 和三個轉(zhuǎn)動 偏航 俯仰和滾動 2 在物體以高速運動時 應該足夠快地測出這六個數(shù)值 3 3 D測量不應妨礙物體運動 非接觸式測量 低頻磁場 超聲 雷達 紅外攝像和LED等 已經(jīng)代替機械臂等接觸式測量 4 3 D傳感器都具有一些共同的參數(shù) 例如 采樣率是每秒測量次數(shù) 執(zhí)行時間是在行為和結(jié)果之間的時間延遲 傳感器的精度 即實際位置與所測出位置的差 分辨率是傳感器檢測的 粒度 即檢測的最小的位置變化 位姿跟蹤常用的性能參數(shù)有 精度 分辨率 采樣率 執(zhí)行時間 范圍 工作空間 價格 障礙 方便 對模糊的敏感 容易校準 同時測量的數(shù)目 方向相對位置跟蹤 5 人體并非剛體 上述六個數(shù)值只能描述人體整體的運動 人體各部分之間的相對運動也應該測量 6 位姿跟蹤和映射是VE系統(tǒng)的基本要求 常用的要求包括 a 視覺顯示對頭和眼的跟蹤 b 觸覺接口對手和臂的跟蹤 c 視覺顯示對身體的跟蹤 d 面部表情識別 虛擬衣服和醫(yī)用遙控機器人的映射 e 建立數(shù)字化幾何模型的環(huán)境映射 7 一種工作方式 流動 方式 中 傳感器數(shù)據(jù)連續(xù)送給主計算機 這最適于快速運動的物體 但是這加重了通信線路的負擔 如果要求以30個畫面 秒的速率重復計算 則每33毫秒要畫出一個畫面 9600波特率的串行口要花費12毫秒傳送6個數(shù)的一組數(shù)據(jù) 每個數(shù)有16bit 因此 僅僅通信就要花費33毫秒的36 另一種工作方式 請求 方式 中 當主計算機請求時 才傳送一組的6個數(shù) 其它時間不讀傳感器數(shù)據(jù) 于是總體畫面更新時間中的通信時間部分就下降了 8 用于位姿跟蹤和映射的基本傳感系統(tǒng)有 機械鏈接 磁傳感器 光傳感器 聲傳感器和慣性傳感器 2 各種位姿跟蹤器的比較如下 第二節(jié)視覺顯示 1 視覺顯示概述理想的視覺顯示與日常經(jīng)歷中的場景對比 在質(zhì)量 修改率和范圍方面應該是無法區(qū)分的 但是當前的技術(shù)還不支持這種高真實度的視覺顯示 而且也不清楚是否多數(shù)應用要求這種高真實度 對任何給定的應用 必須認真評價各種顯示特性的重要性 這包括視覺特性 視場 分辨率 亮度 對比和彩色 人類工程學 安全 可靠和價格 視覺顯示的基本要求是提供立體視覺 下圖表示 立體視覺的基本原理 圖中表示兩眼光軸平行的情況 相當于兩眼注視遠處 內(nèi)瞳距 IPD 是兩眼瞳孔之間的距離 兩眼空間位置的不同 是產(chǎn)生立體視覺的原因 F是距離人眼較近的物體B上的一個固定點 右面的兩眼的視圖說明 F點在視圖中的位置不同 這種不同就是立體視差 人眼也可以利用這種視差 判斷物體的遠近 產(chǎn)生深度感 這就是人類的立體視覺 由此獲得環(huán)境的三維信息 人眼的另一種工作方式是注視近處的固定點F 這時兩眼的光軸都通過點F 兩個光軸的交角就是圖中的會聚角 因為兩眼的光軸都通過點F 所以F點在兩個視圖中都在中心點 這時 與F相比距離人眼更遠或更近的其他點 會存在視差 人眼也可以利用這種視差 判斷物體的遠近 產(chǎn)生深度感 完全的視覺接口包括四個基本部分 1 視覺顯示表面和輔助光學系統(tǒng) 它把詳細的時變的光模式投影在用戶視網(wǎng)膜上 2 產(chǎn)生光學信號的系統(tǒng) 來自真實場景的攝像機 存貯圖像的錄像機 生成圖形的計算機 或三者的組合 3 感覺頭或眼球位置運動的系統(tǒng) 這是上一節(jié)介紹的位姿跟蹤問題 4 使視覺顯示表面相對于人眼定位的系統(tǒng) 這一節(jié)只介紹 1 首先介紹顯示表面 然后介紹光學系統(tǒng) 最后介紹有關(guān)產(chǎn)品 對虛擬現(xiàn)實 VR 最常用的技術(shù)成熟的顯示表面類型是陰極射線管 CRT 和背光液晶顯示 LCD VR應用有兩類主要的視覺顯示光學系統(tǒng) 頭盔顯示和非頭盔顯示 下面分別介紹不同的顯示表面和不同的光學系統(tǒng) 最后介紹現(xiàn)有的產(chǎn)品 2 視覺顯示的顯示表面 對虛擬現(xiàn)實 VR 最常用的技術(shù)成熟的顯示類型是陰極射線管 CRT 和背光液晶顯示 LCD 雖然這些技術(shù)對近期的虛擬現(xiàn)實應用是很有用的 但幾個缺點卻妨礙其長期的發(fā)展 1 CRT類顯示 2 LCD類顯示 CRT技術(shù)是多年來在電視機和計算機監(jiān)視器上廣泛應用的成熟技術(shù) CRT技術(shù)能給頭盔顯示器提供小的高分辨率高亮度的單色顯示 但這些CRT較重 并把高電壓放在人頭部上的設備中 此外 開發(fā)小型高分辨率高亮度彩色CRT是困難的 在頭盔顯示中 要求笨重的光學設備形成高質(zhì)量圖像 組合的技術(shù)途徑可產(chǎn)生高質(zhì)量彩色圖像 并減少重量和價格 近期的途徑是把高質(zhì)量彩色的基于CRT的HMD 頭盔顯示器 引入市場 它使用了加于單色CRT的機械電子彩色濾光技術(shù) 這種途徑中 CRT以三倍正常速率掃描 并依次加上紅 綠 蘭三色的濾光器 LCD技術(shù)以低電壓產(chǎn)生彩色圖像 但只具有很低的圖像元密度 在頭盔顯示中 也要求笨重的光學設備形成高質(zhì)量圖像 市場出售的頭盔式顯示器幾乎全部依靠TV 電視機 質(zhì)量的液晶顯示 在VR和遙操作領(lǐng)域 不要求大區(qū)域顯示 只要求緊湊的輕便的高分辨率顯示 LCD顯示器有待提高其分辨率 3 VRD類顯示與基于CRT或LCD的顯示器不同的工作是在華盛頓大學人類接口接術(shù) HIT 實驗室 HIT實驗室正研究基于激光微掃描技術(shù)的顯示VRD 它用微型固體激光器掃描視網(wǎng)膜上的彩色圖像 它的優(yōu)點是不使用笨重的光學設備 可能開發(fā)高分辨率 輕便 低價格顯示系統(tǒng) 但激光微掃描顯示還面對大量技術(shù)障礙 VRD VirtualRealityDisplay 是美國華盛頓大學HumanInterfaceTechnologyLab HIT 在1991年發(fā)明的 目標是產(chǎn)生全彩色 寬視場 高分辨率 高亮度 低價格的虛擬現(xiàn)實立體顯示 MicrovisionInc 具有該技術(shù)產(chǎn)品化的專有權(quán) 該技術(shù)有很多潛在的應用 由軍事航天應用的HMD 到醫(yī)學應用 VRD直接把調(diào)制的光線投射在人眼的視網(wǎng)膜上 產(chǎn)生光柵化的圖像 觀看者的幻覺是 感到這個圖像是在前方2英尺遠處的14英寸監(jiān)視器上 實際上 圖像是在眼的視網(wǎng)膜上 圖像質(zhì)量很高 有立體感 全彩色 寬視場 無閃爍 VRD的主要特點如下 很小很輕的眼鏡 大于120度的大視場 適應人類視覺的高分辨率 有更高彩色分辨率的全彩色 適用于室外的高亮度 很低的功率消耗 有深度感的真正的立體顯示 具有看穿的顯示方式 這類似于看穿的頭盔顯示 在看到激光掃描的虛擬圖形的同時 也看到真實場景 下圖表示 VRD的工作原理 源圖像是要求顯示的圖像 調(diào)制的光源是紅綠藍三基色的光源 水平和垂直掃描器根據(jù)源圖像對于光源進行掃描 經(jīng)過光學鏡頭 在人的視網(wǎng)膜上成像 在普通的屏幕顯示中 受控的光線或光發(fā)射元素組成高密集的陣列 這個陣列投影到各個象素 但在VRD的顯示中 不存在其他屏幕 象素流直接投影到視網(wǎng)膜 VRD中不具備象素持續(xù)性質(zhì) 只有視網(wǎng)膜上光接受器的光收集特性 因此 在VRD提供的光線和人腦產(chǎn)生的圖像質(zhì)量之間的關(guān)系 就是很重要的了 源圖像直接進入驅(qū)動電子設備中 去調(diào)制紅綠蘭三色的光線 每個象素通過水平和垂直掃描器 在視網(wǎng)膜上產(chǎn)生光柵化的圖像 視網(wǎng)膜沒有持續(xù)性質(zhì) 因此沒有閃爍 產(chǎn)生的圖像很亮 有很高的分辨率 有很寬的視場 每個象素投影在視網(wǎng)膜上的時間很少 30 40ns 此外 該設備只消耗很少能量 VRD的顯示設備 VRD的主要指標如下 分辨率只取決于光源的衍射和像差 亮度可達很高和很低 所以對比度就很大 傳統(tǒng)的顯示器不會發(fā)出很強的光 所以很難在很亮的環(huán)境下看到 VRD的顯示可以在很亮的環(huán)境下看到 CRT只能反射可見彩色光中的一部分 VRD發(fā)射高飽和的純彩色光 其彩色逼真度極高 CRT未把電能有效地轉(zhuǎn)成光能 VRD把所有產(chǎn)生的光線投在視網(wǎng)膜 所以允許很強的亮度和很小的能耗 VRD很容易改進性能 VRD提供通用的方法 適用于各類應用 有潛力降低價格 VRD包括很簡單的子系統(tǒng) 將以低價格進行大批量生產(chǎn) IVRD是HITLab為美國海軍飛行員研制的交互的VRD TheOfficeofNavalResearch正在研制IVRD 飛行員用這種設備 能更好地在強光下觀看 有立體視覺 通過手指指向顯示與設備交互 設備很輕 耗能很少 IVRD課題的目標是 高亮度彩色圖像覆蓋在飛行員的真實視場中 測量在真實視場中增強圖像的位置 測量注視方向 以及在增強圖像中眼和手的位置 在增強圖像的視場中360度范圍顯示傳感器數(shù)據(jù) 允許觀看者要求顯示更多信息 3 VRD類顯示 VRD的應用包括用于軍事 頭盔 移動電話 以及醫(yī)學上 HMD上的應用 Swanson指出 直升機飛行員需要獲取信息 以便做出關(guān)系生死的決策 如果信息是以圖形或直覺的方式提供的 就能減少飛行員的負擔 增加在惡劣環(huán)境下的可視能力 HMD在白天和夜間都提供全彩色的圖形信息 但缺乏有效的數(shù)據(jù)接口的聯(lián)系 VRD技術(shù)的產(chǎn)品Microvision給軍隊提供了單色雙目HMD系統(tǒng) 視場水平52度 垂直30度 顯示行數(shù)960 水平象素1716 重量2磅 包括兩個顯示器 頭盔結(jié)構(gòu) 及光學系統(tǒng) 圖像以 看穿的方式 投影 飛行員同時看到背景場景 交互的VRD 三維交互顯示的VRD技術(shù) 可以集成在眼鏡或頭盔上 產(chǎn)生立體效果 VRD的顯示設備用于頭盔顯示器 VRD的頭盔顯示器用于軍事 手持的二維顯示VRD技術(shù)將集成進手提電話 允許用戶看商業(yè)網(wǎng) 因特網(wǎng) e mail web頁面 傳真 文件等 如同看臺式監(jiān)視器 醫(yī)學應用 據(jù)估計 美國2 的人有弱視 弱視的人不是全盲 但不能拿到駕駛執(zhí)照 而且難以閱讀和看電視 原因可能是視網(wǎng)膜的傷害 中心或周圍視力的衰減 或光路的傷害 角膜傷害或晶狀體傷害 VRD使得弱視的人能看到圖像 1998年 Microvision與Wallace KetteringNeuroscienceInstitute簽訂了合同 在神經(jīng)外科的安全帽的研究上合作 沒有視網(wǎng)膜傷害的病人能通過他的視場看到運動的粒子 具有視網(wǎng)膜傷害的病人實際上能反常地看到他自己的盲區(qū) 要求病人跟蹤視覺擾動的邊緣 于是就產(chǎn)生它自己視網(wǎng)膜的數(shù)字圖像 這實際上定位了受傷的組織 這個圖像與基底攝像機拍攝的照片比較 基底攝像機獲取器官內(nèi)表面的圖像 基于VRD的工作站 在過去一年掃描了58個各種視網(wǎng)膜疾病的病人 VRD的未來 將更加緊湊 正在開發(fā)邊緣發(fā)射 超亮度發(fā)射二極管 以及微型二極管激光器 這將允許直接的光調(diào)制 加上專用集成電路技術(shù) 可能產(chǎn)生手持的VRD設備 未來的VRD的頭盔顯示器 4 VLSI類顯示MITAI實驗室用硅VLSI芯片技術(shù)實現(xiàn)這種顯示特征 比較液晶顯示可達到的分辨率和基于硅技術(shù)的圖像傳感器商品的密度 就可以看到密度和性能的潛力 LCD最大分辨率約640 400 象素間距約330m 產(chǎn)生200mm 130mm的顯示 硅傳感器制造的分辨率為4000 4000象素 點距11m 更小的象素尺寸是可能印制的 但光密度要求用較大的象素區(qū) 當前技術(shù)下合適的方案是2000 2000圖像顯示 象素間距8m 產(chǎn)生16mm 16mm的顯示 5 全息顯示計算機生成的立體圖是三維場景的一系列二維視場的光學記錄 最后的全息圖投影每個二維圖像在觀看區(qū)域中 于是可以看到有水平視差的立體視場 可以產(chǎn)生全色高分辨率圖像 以及大的寬視場全息圖 然而 這是非實時圖像技術(shù) 它要求離線記錄 為產(chǎn)生全息圖要求大量信息 因為必須產(chǎn)生每個視場 一般100到300個視場 計算生成的繞射模式 這種方法是復雜的 計算量大的 直到最近 計算機生成的全息圖還只是用于繪圖或打印技術(shù)記錄 用作為離線過程 但是一個新方法允許全息圖像實時顯示 由快速幀緩沖存儲器顯示 全息圖信號可以實時掃描并發(fā)送 這個系統(tǒng)是MIT發(fā)明的全息錄像 2 2 3視覺顯示的光學系統(tǒng) VR應用有兩類主要的視覺顯示光學系統(tǒng) 頭盔顯示和非頭盔顯示 它們顯示的圖像直接聯(lián)系到用戶頭部運動 用傳感器測量頭部位姿 或間接聯(lián)系頭部運動 用手柄等控制設備或語音輸入 1 頭盔式立體顯示頭盔顯示通過安裝顯示硬件在頭盔上或在頭帶上 頭盔顯示的一個顯著優(yōu)點是顯示定位伺服機械由人的軀干和頸部提供 這允許不附加硬件就產(chǎn)生完全環(huán)繞的觀看空間 并消除某些非頭盔顯示中顯示表面定位系統(tǒng)引入的延遲 在許多HMD中 所有圖像是合成的 由計算機產(chǎn)生 頭盔顯示的缺點是重量和慣性約束 妨礙了用戶自由運動 由此引起的疲勞 以及隨著增加頭部慣性而增加運動眩暈征狀 頭盔顯示應有好的空間分辨率 視場 彩色 并應輕便 舒適 代價效益好 頭盔顯示產(chǎn)生無縫的全環(huán)繞的觀看體積 頭盔顯示一般難以制造 高性能HMD價格高 在性能上還有技術(shù)難點 1 高分辨率 小型 輕便 低價的顯示還有待實現(xiàn) 2 重量和慣性約束影響到發(fā)生運動眩暈 正確判定方向 以及長期適應性 3 由于尺寸 性能和價格約束 多數(shù)HMD使用定位 聚焦補償 就給用戶提供了沖突的視覺深度信息 4 HMD的正常工作聯(lián)系到頭部跟蹤系統(tǒng)性能 修改率和延遲 下圖表示 在頭盔中LEEP光學系統(tǒng)的結(jié)構(gòu) 兩個液晶顯示屏幕分別在兩眼前方很近的地方 光學鏡頭使屏幕上的圖像 成像在眼睛前方明視距離處 以便人眼正常觀看 光學鏡頭還會放大圖像 以便增大視場 LEEP光學鏡頭就是一種這樣的光學鏡頭 2 立體眼鏡式立體顯示非頭盔式但要求觀看設備的立體顯示中 場順序眼鏡 液晶光閥眼鏡 用于雙目分時觀看左右圖像 偏振眼鏡用于雙目分別觀看不同偏振的左右圖像 前者是非頭盔的立體顯示中常用的方式 又稱為立體眼鏡方法 后者則在立體電影院中提供立體顯示 非頭盔立體眼鏡方式顯示采用立體屏幕與投影顯示 高分辨率彩色立體屏幕和投影顯示系統(tǒng)價格較低 因此往往用于計算機圖形學和娛樂業(yè) 這些系統(tǒng)只要求一對輕便的主動或被動眼鏡產(chǎn)生高質(zhì)量的立體顯示 因此給用戶施加最小的慣性約束 并是舒適的 在舒適的觀看范圍的限制下 屏幕和投影顯示的靜態(tài)視場和空間分辨率取決于用戶到顯示平面的距離 用大的顯示平面 不要求光學設備 就可以實現(xiàn)較大的視場 100 水平視場 屏幕和投影顯示一般比HMD更大更重 這種空間和重量限制是其缺點 此外 必須用伺服控制或多個靜態(tài)顯示表面增加觀看空間 提供全環(huán)繞視覺環(huán)境 增加觀看空間的另一個途徑是使用與頭盔顯示中同樣的頭部位姿傳感器 非頭盔立體眼鏡方式顯示中 顯示設備 屏幕和投影 不戴在頭上 較便宜 并可提供高分辨率彩色圖像 這減少了加于頭部的重量和慣性約束 減少了對定位 聚焦補償系統(tǒng)的體積重量約束 下圖表示 立體投影顯示的第一種方式 主動式系統(tǒng) 分別對應左眼和右眼的兩路視頻信號 輪流在屏幕上顯示 它們的頻率為標準更新率的二倍 觀看者佩戴具有液晶光閥的立體眼鏡 液晶光閥的開關(guān) 與顯示的圖像同步 于是 在顯示左眼的圖像時 左眼的光閥打開 右眼的光閥關(guān)閉 同步信號可以通過紅外信號傳送 眼睛就可以在無線狀態(tài)工作 要求顯示器具有兩倍的顯示頻率 比利時BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第二種方式 有單臺CRT投影機的被動式系統(tǒng) 投影機輪流在屏幕上顯示 分別對應左眼和右眼的兩路視頻信號 它們的頻率為標準更新率的二倍 Z 屏幕分別對兩眼的圖像 施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第三種方式 有兩臺CRT投影機的被動式系統(tǒng) 兩臺投影機分別在屏幕上顯示對應左眼和右眼的兩路視頻信號 它們的頻率為標準更新率 兩臺投影機鏡頭前 分別安裝不同的偏振片 施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時BARCO公司的投影器可以提供這種功能 下圖表示 立體投影顯示的第四種方式 有兩臺LCD投影機的被動式系統(tǒng) 兩臺投影機分別在屏幕上顯示對應左眼和右眼的兩路視頻信號 它們的頻率為標準更新率 兩臺投影機內(nèi)部可以施加不同的偏振 觀看者佩戴具有不同偏振的眼鏡 比利時BARCO公司的投影器可以提供這種功能 非頭盔立體眼鏡方式顯示還不完善 如果不提供環(huán)繞的觀看體積 就要求頭部跟蹤 計算機生成的圖像必須被用戶跟蹤 顯示表面必須伺服控制 最后 顯示系統(tǒng)的體積重量大于頭盔顯示 3 自動立體顯示自動立體顯示不要求輔助的觀看設備 如場順序或偏振眼鏡 不給用戶附加慣性約束 觀看區(qū)域或觀看體積的大小可能有所不同 自動立體顯示也可由多人觀看 a 透鏡顯示一個透鏡面是圓柱透鏡的陣列 它用于產(chǎn)生自動立體三維圖像 這是通過把兩個不同的二維圖像導向各自的觀看子區(qū)域 在透鏡面前方不同的角度上 在子區(qū)域內(nèi)形成圖像 當觀察者的頭在正確的位置時 每只眼就在不同的觀看區(qū) 看到不同的圖像 得到雙目視差 透鏡成圖像對于大的視場要求高分辨率 對CRT技術(shù) 象素尺寸限制了最高分辨率 因而限制了視線數(shù)目 帶寬要求也可能很大 因為要求顯示兩個視場 此外 兩個視場必須實時顯示 而且圖像被切片并放在透鏡后面的垂直條中 可顯示的視場的數(shù)目受到圓柱透鏡聚焦能力不完善性的限制 透鏡畸變和光的繞射減少了透鏡方向性 于是由背面屏幕聚焦的圖像 不是以平行射線出現(xiàn) 而是以某種角度散布 這種散布限制了能彼此區(qū)分的子區(qū)域數(shù)目 透鏡面顯示的另一個關(guān)鍵問題是背部屏幕圖像必須對準縫口或透鏡 否則子區(qū)域圖像將不會導向合適的子區(qū)域 柱面透鏡構(gòu)成左右眼兩個觀看區(qū)域 b 視差檔板顯示視差檔板是放在顯示前方的垂直平板 它對每只眼都阻檔了屏幕的一部分 視差檔板的作用類似透鏡面 差別在于它是用檔板檔住部分顯示 而不是用透鏡導引屏幕圖像 屏幕顯示兩個圖像 每個分成垂直條 屏幕上顯示的條交替為左右眼圖像 每只眼只看到它的條 視差檔板顯示一般不使用 因為有幾個缺點 首先 顯示的圖像太暗 因為檔板檔住每只眼大部分光 而且 對小的縫寬度 由縫隙的光擴散可能是問題 這是因為光線散射 此外 CRT圖像必須劃分成條 下圖中 上面一圖表示棱柱透鏡對兩幅圖的導向作用 原理類似于柱面透鏡 下面一圖表示視差擋板對兩幅圖的局部遮擋 c 切片堆積顯示切片堆積顯示也稱為多平面顯示 它由多層二維圖像 切片 構(gòu)成三維體積 正如發(fā)光二極管 LED 的旋轉(zhuǎn)線可以產(chǎn)生平面圖像感 LED的旋轉(zhuǎn)平面可以產(chǎn)生體圖像 類似的體積可以用CRT顯示或運動鏡面掃描 運動鏡面必須以高頻運動很大距離 所以也可以用變焦距鏡面 一般用30Hz聲音信號振動反射膜片 在鏡面振動時 聚焦長度改變 反射的監(jiān)示器在截斷的金字塔型觀看體積中形成圖像 鏡面連續(xù)改變其放大率 使隨時間掃描的圖像連續(xù)改變其深度 這個途徑的變型正由TI公司開發(fā) 在這個技術(shù)中 17m見方微機械鏡面 由硅梁支持在對角上 兩個未支持的角涂上金屬 用作靜電驅(qū)動器電極 它使鏡面拉到一邊或另一邊 驅(qū)動速率約10微秒 角偏轉(zhuǎn)約10 允許微鏡面偏轉(zhuǎn)入射光形成高分辨率顯示 一個版本包含約700 500象素 使用由彩色濾光輪得到的幀序列彩色 以及每個象素強度的6位脈寬控制 切片堆積方法描繪一個照亮的體積 使物體是透明的 而被遮檔的物體不能消隱 對空間數(shù)據(jù)集和固體建模問題這可能是理想的 但它不適于有消隱表面的照片和真實圖像 增加頭部跟蹤就允許消隱表面在繪制步驟對一個觀看者近似地去掉 然而 不是所有表面都可以正確繪制 因為兩眼可能由不同位置觀看 2 2 4視覺顯示的產(chǎn)品 1 頭盔顯示至今的HMD商品主要包括低分辨率大視場基于LCD系統(tǒng) 歷史上 廣泛應用的HMD商品是VirtualResearchFlightHelmet VPLEyePhone和LEEPSystemsCyberFace 所有三者都提供100 到110 水平視場 用LCD屏幕 有效的空間分辨率約300 200象素 用標準的NTSC外觀 寬高比 所有設備都在1萬美元以下 VPLResearch推出了較高分辨率HMD 稱為HRX 以后又因可維修性差而放棄了 英國的WIndustries推出粗的HMD 稱為Visette 特性類似于VRFlightHelmet VRFlightHelmet和VPLEyephone都已不再銷售 只有很少的CyberFace還在使用 VirtualResearch沒有繼續(xù)它成功的FlightHelmet 它推出了一種輕便的HMD 使用小型單色CRT以及彩色輪 它稱為EYEGEN3 這個28盎司系統(tǒng)取兩個NTSC輸入 分辨率250 水平 493 垂直 其視場在100 雙目重疊時為32 在50 雙目重疊時為48 它有很好的亮度與對比 價格低于8000美元 在較高檔的商品范圍 約15萬美元 KaiserElectro Optics推出了ColorSimEye 這是軍用研究的結(jié)果 它在40 對角視場上提供1280 水平 1024 垂直 的隔行掃描線 正在開發(fā)60 80 視場的產(chǎn)品 也有單色產(chǎn)品 CRT安裝在頭部側(cè)面低處 減少頭部轉(zhuǎn)動時的慣性約束 簡單的光學設備把圖像送進操作者眼睛 它提供44 穿透能力 表面穩(wěn)定的鐵電液晶光閘用于順序顯示三基色 其更新率60Hz 180Hz掃描率 其重量3 5磅 頭盔顯示器性能和價格 基于CRT的頭盔產(chǎn)品 a 為FlightHelmet b 為CybefaceII c 為Tier1 d 為HMSI1000 UltrasonicHeadTracker超聲頭部跟蹤器FittingAdjustment佩帶調(diào)節(jié)器LCDDisplay液晶顯示器ChestCounterweight胸部配重Stereo MonoSwitch立體 平面開關(guān)Detachableview可拆卸的顯示器Light WeightViewer輕便顯示器 a 為HMD131 b 為Datavision9cOptics光學鏡頭Mirror鏡子CRTCRT 下圖表示 美國VIRTUALI O公司的頭盔顯示器產(chǎn)品 I glasses 重量240g 美國01Products公司的頭盔顯示器產(chǎn)品 PT 01 顯示象素為800 225 180000 日本島津制作所的頭盔顯示器產(chǎn)品 1000HRpv 顯示象素為800 600 重量740g 日本AEC公司的頭盔顯示器產(chǎn)品 VirtualResearchFS5 水平顯示象素為800 重量1 07kg 美國VirtualResearchSystems Inc 公司的頭盔顯示器產(chǎn)品 V8 顯示象素為640 480 重量1 038kg 日本SONY公司的頭盔顯示器產(chǎn)品 LDI 100 顯示象素為832 642 重量120g 近年為各種軍事研究應用開發(fā)了先進的高性能HMD 這些系統(tǒng)雖然功能強 但價格往往超過50萬美元 最初為軍用開發(fā)的高檔HMD技術(shù)已轉(zhuǎn)向商業(yè) 新的市場已形成了低檔的設計 輕便 中等分辨率 約1000水平線 彩色 看穿的HMD在20萬美元以下 較低分辨率系統(tǒng) NTSC水平 在1萬美元以下 中等分辨率非頭盔場順序投影系統(tǒng)在2萬美元以下 等效的BOOM類系統(tǒng)在10萬美元以下 商業(yè)壓力會促進資助 當前的商業(yè)和技術(shù)趨勢使VR的顯示還有幾個缺點 當前最好的系統(tǒng)的分辨率相當于高清晰度TV 高分辨率的寬視場的眼分辨率限制的顯示系統(tǒng) 有待進一步研究 為提供180 水平 120 垂直 的視場 人的視場 要求顯示設備提供約4800 水平 3800 垂直 線的分辨率 應該強調(diào)開發(fā)小型高分辨率CRT或固態(tài)顯示 2 非頭盔的顯示 經(jīng)典的基于CRT的屏幕和投影顯示有足夠的掃描速率和帶寬 可以用場順序技術(shù)產(chǎn)生高分辨率 1000水平線 立體顯示 這種形式的高分辨率彩色高帶寬顯示 對屏幕型式約2000美元 對大屏幕投影方式約為13000美元 這種立體顯示利用時間順序方法提供左右眼交替的立體顯示對 在計算機圖形市場上 場順序設備最早的提供者是StereographicsCorporation 它制造了一系列LCD光閘眼鏡 它用紅外技術(shù)作場同步 這些眼鏡和紅外發(fā)射器可以加到適當?shù)挠嬎銠C和投影系統(tǒng) 在2000美元以下 3DTV提供低價格 有線同步的 場順序系統(tǒng) 整個系統(tǒng)價格比可比的頭盔顯示低一個數(shù)量級 這種立體眼鏡的顯示系統(tǒng) 廣泛應用于計算機圖形學和低檔的VR系統(tǒng) 它以較低的成本實現(xiàn)了立體顯示 使用主動立體眼鏡的立體顯示系統(tǒng) a 為標準的布局 其中利用紅外信號傳送同步信號 用于控制液晶眼鏡的開關(guān) 眼鏡上備有輕便的鋰電池 眼鏡在無線狀態(tài)下工作 b 為用于VR的布局 除了標準布局中的上述設備外 眼鏡上還有頭部跟蹤的超聲接受器 超聲接受信號要經(jīng)過導線傳給頭部跟蹤系統(tǒng) 眼鏡在有線狀態(tài)下工作 3 混合的立體顯示系統(tǒng) Fake空間實驗室開發(fā)了一類顯示 稱為BOOM 它的顯示器安裝在六自由度支持結(jié)構(gòu)上 用戶以兩手抓住顯示器 轉(zhuǎn)動顯示器改變觀看方向 好像它是望遠鏡 用按鈕控制 在VR中向前向后運動 這種粗的地面安裝設備有幾種布局 低檔系統(tǒng)用兩臺CRT顯示提供640 水平 480 垂直 單色分辨率 BOOM的高檔三色版本提供1280 水平 1024 垂直 隔行分辨率 使用彩色濾光技術(shù) BOOM觀看者在六自由度支持結(jié)構(gòu)上有集成的跟蹤傳感器 這個跟蹤系統(tǒng) 在改變觀看方向后5ms以內(nèi) 很快把方向位置信息送給計算機 下圖表示 BOOM系統(tǒng)的工作原理 圖中可見 由機械臂支持的顯示器 混合的屏幕顯示系統(tǒng) 使用小的顯示表面 通過顯示支持結(jié)構(gòu)支持顯示系統(tǒng) 顯示系統(tǒng)通過伺服控制或人操縱跟隨用戶頭部運動 這些系統(tǒng)去掉了頭盔顯示的慣性約束 并允許用小型高分辨率彩色屏幕顯示設備 此外 通過顯示支持結(jié)構(gòu)的儀表得到頭部位姿信息 于是不增加復雜性就可以得到大的有效的觀看空間 在伺服控制的方案中 由電子機械控制機構(gòu)產(chǎn)生的延遲和失真必須解決 還要注意與人頭部相連的電源設備的安全問題 人操縱的設備沒有安全問題 但是必須由一兩只手移動視覺設備 于是這一兩只手就不能用于人機交互的任務 4 多面的顯示系統(tǒng) VirtualEnvironmentEnclosure 多表面顯示系統(tǒng) VirtualEnvironmentEnclosure 至少具有三個顯示表面 顯示表面可以是墻面 天花板 和地面 它們彼此相連構(gòu)成房間 最早的布局是立方體的三個顯示墻面和一個顯示地面 典型的尺寸是 每邊長度10英尺 允許多人同時在這個虛擬環(huán)境中 多面顯示系統(tǒng)中 同時在三面 四面 五面或六面墻面上顯示圖像 顯示圖像可以充滿整個視場 增加沉浸感 第一個VirtualEnvironmentEnclosure是1991年伊利諾伊 Illinois 大學開發(fā)的CAVE CAVEAutomaticVirtualEnvironment 它在圖形學會議SIGGRAPH92上發(fā)表 由多臺計算機產(chǎn)生的圖像 被鏡面反射到投影屏幕 視點在環(huán)境中的移動 受一個主要用戶的控制 該用戶身上有位置跟蹤設備 如磁跟蹤器 測量他注視的地方 該用戶還用操縱桿控制視點的移動 為了觀看立體顯示 所有用戶都要佩帶立體眼鏡 一個缺點是 除了主要用戶外 每個人都好像乘車一樣 會出現(xiàn)仿真眩暈 CAVE的房間尺寸是30 20 13 投影機的光學系統(tǒng)被鏡面折疊 每個投影面用單獨的投影材料 在三面墻交界的兩個墻角處 從房頂?shù)降孛胬桓? 4英寸的纜線 纜線的遮擋會破壞在墻角處的立體效果 CAVE由PyramidSystems Inc 銷售 與伊利諾伊大學合作 保持很強的技術(shù)支持 C2是由愛荷華 Iowa 州立大學制造的 通過與愛荷華工程部的合作 他們試圖改進CAVE的不足 主要改進包括 移動地板投影由用戶后方到用戶前方 這就把用戶在地板上的陰影移到用戶后方 不至影響顯示 在墻角處 用架子把兩邊的墻面夾在一起 防止有陰影投在屏幕上 用Unistrut結(jié)構(gòu) 提供更好的立體聲效果 CABIN ComputerAidedBoothforImageNavigation 是東京大學制造的五面顯示的系統(tǒng) 它有強化玻璃的地板 還有三面墻和天花板的顯示 得到工業(yè)界支持 NAVE NAVEAutomaticVirtualEnvironment 是由GeorgiaTechVirtualEnvironmentsGroup制造的 課題成本 60k 適于用在大學的實驗室 它用視覺和其他物理感覺增強全局的沉浸感 兩個人坐在一個椅子上 采用力反饋手柄控制運動 聲音系統(tǒng)很好 還通過地板發(fā)出震動 用旋轉(zhuǎn)和閃爍的光線加強氣氛 C6正在由愛荷華 Iowa 州立大學制造 是三維全沉浸的合成環(huán)境 它的房間中 四面墻 地面和天花板都是投影屏幕 顯示背投立體圖像 一面墻可動 允許用戶進出房間 VirtualEnvironmentEnclosure的改進包括 減小空間要求 增加投影面 增加立體聲音 增加物理反饋 以及降低價格 下圖表示 CAVE1系統(tǒng)的工作原理 該系統(tǒng)中 前方 左方 右方 上方的四面墻 都是投影屏幕 圖中可以看到 對四個屏幕的四臺投影機和四個反光鏡 CRT LCD VRD等顯示技術(shù)的對比如下 頭盔式 立體眼鏡式 自動立體顯示的對比如下 第三節(jié)聽覺顯示 1 聽覺顯示概述虛擬環(huán)境的聽覺接口應能給兩耳提供一對聲波 1 它應有高逼真性 2 能以預訂方式改變波形 作為聽者各種屬性和輸出的函數(shù) 包括頭部位姿變化 3 排除所有不是VR系統(tǒng)產(chǎn)生的聲源 如真實環(huán)境背景聲音 對增強現(xiàn)實系統(tǒng)可以放松上述條件 3 它的意圖是組合合成聲音與真實聲音 為了滿足這些要求 聽覺顯示系統(tǒng)應該包括發(fā)聲設備 下面將介紹兩種發(fā)聲設備 為了使用戶產(chǎn)生置身于某種聲場的臨場感 要求解決聲音空間定位和建模問題 下面也將說明 為了仿真不同類型的聲源 要求合成各類特定聲源的聲音信號 下面只介紹非語音信號的合成 2 聲音顯示設備一般講 用耳機最容易達到虛擬現(xiàn)實的要求 在使用喇叭 并遠離頭部時 每個耳朵聽到每個喇叭的聲音 控制問題很困難 雖然商業(yè)化的高逼真電影往往聲稱喇叭有很好的形成聲象能力 但用戶限制在房中單一收聽位置 只得到固定方位聲象 不補償頭部轉(zhuǎn)動 而且房間的聲學特性不容易處理 此外 由于耳朵完全打開 不可能排除環(huán)境中附加的聲音 最后 雖然與耳機有關(guān)的接觸感可能限制聽覺臨場感的程度 但是由于用戶需要在虛擬和真實環(huán)境之間來回轉(zhuǎn)移 這種與耳機接觸可能是有用的 在任何情況 由于視覺接口會存在這些問題 在需要喇叭的情況下 可能發(fā)生高能低頻聲爆破 這種情況 喇叭可能用于振動部分身體 而不僅是耳膜 1 耳機耳機有不同的電聲特性 尺寸重量 以及安在耳上的方式 一類耳機是護耳式耳機 它是大的重的 并用護耳墊連在耳朵上 另一類耳機是插入耳機 或耳塞 聲音通過它送到耳中某一點 插入耳機可能很小 并封閉在可壓縮的插塞中 或適于用戶的耳模 它放入耳道中 耳機的發(fā)聲部分也可能遠離耳朵 其輸出的聲音經(jīng)過塑料管連接 一般2mm內(nèi)徑 它的終端在類似的插塞中 所有耳機可以送交寬帶寬的聲音 高達15kHz 有適當?shù)木€性和輸出級別 高達約110dB聲壓級別 為了精確控制耳膜的聲壓 需要知道由耳機驅(qū)動電壓到耳膜聲壓的傳輸功能 可以使用接近耳膜的探針麥克風聲級測量儀得到信息 這些測量是復雜的 特別是在幾kHz的頻率 一般 這個傳輸功能更復雜 而且當耳膜與耳機之間的封閉空間的大小增加時 也是不同的 封閉耳朵的護耳式耳機具有比插入耳機更多的共振 可以預計在一個指定的人身上重復安放耳機 會有很大的可變性 但是在高頻下聽力閥值的測量指出 即使在大的超級耳機中 測量 重測量可變性測試得到的差別是小的 在14kHz為幾個dB 這樣 就不必要對給定的聽者重復測量這個傳輸功能 對某些應用 各人之間的差別可能是不重要的 在一個人的耳朵上的校準就足夠了 插入耳機 或耳塞 依靠與聲音傳送區(qū)有高的接觸區(qū)域比 可以提供外部聲音較好的衰減 在4kHz以上約35dB 在250Hz以下降到約25dB 護耳式耳機可以達到類似的高頻衰減 但只有較少的低頻衰減 最近開發(fā)的主動消噪音護耳式耳機提供高達15dB附加低頻衰減 因而使其整個衰減特性類似于插入耳機 組合插入耳機和主動消噪音護耳式聽力保護器可以達到最大的衰減 即使包括保護器 價格也不超過1000美元 除了在娛樂應用上的工作外 在VR領(lǐng)域涉及聽覺顯示的多數(shù)研究開發(fā)集中在由耳機提供聲音 但這有兩個缺點 1 它要求把設備安在用戶頭上 從而增加負擔 2 它只刺激聽者耳膜 考慮到 1 對許多現(xiàn)有的頭部跟蹤技術(shù) 頭部跟蹤設備與耳機都必須安在頭上 如果視覺顯示也是頭部安裝的 則與增加耳機有關(guān)的人類工程問題就是次要的 即使不要求聽覺顯示 視覺顯示也要求頭部跟蹤器 增加耳機到頭盔顯示后所附加的負擔是較小的 考慮到 2 即使耳機能產(chǎn)生足夠的能量震聾用戶 但通過耳機的刺激不足以給用戶提供聲音能量 影響耳朵以外的身體部位 雖然對VR領(lǐng)域的多數(shù)應用 聽覺系統(tǒng)對正常聽覺通道的刺激 外耳 耳膜 中耳 耳蝸等 是精確的 但是如果希望在環(huán)境中提供真實的高能聲音事件的仿真 如爆破或高速飛機低空飛過 則其它身體部位的聲音仿真也是重要的 如振動用戶肚子 2 喇叭設計非耳機聲音顯示 如喇叭 多年來是音響工業(yè)的焦點 現(xiàn)有的許多喇叭系統(tǒng) 象耳機一樣 在動態(tài)范圍 頻率響應和失真等特征上適用于所有VR應用 它們的價格也是合適的 雖然比耳機更貴 特別是要求在很大的音量上產(chǎn)生很高強度聲音時 如在大劇場中的強聲音樂 對VR應用 喇叭系統(tǒng)的主要問題是達到要求的聲音空間定位 包括聲源的感知定位和聲音的空間感知特性 喇叭系統(tǒng)空間定位中的主要問題是難以控制兩個耳膜收到的信號 以及兩個信號之差 在調(diào)節(jié)給定系統(tǒng) 對給定的聽者頭部位姿提供適當?shù)母兄獣r 如果用戶頭部離開這個點 這種感知就很快衰減 至今還沒有喇叭系統(tǒng)包含頭部跟蹤信息 并用這些信息隨著用戶頭部位姿變化適當調(diào)節(jié)喇叭的輸入 這個問題在用耳機時不存在 在耳機中 給定的耳膜收到的信號僅取決于該耳的耳機發(fā)出的信號 與耳機情況不同 在用喇叭時 給定耳膜收到的信號受到房間中所有喇叭發(fā)出的所有信號的影響 也取決于聲音在房間中由喇叭到耳膜傳送中經(jīng)受的變換 在VE領(lǐng)域中 使用非耳機顯示的一個最有名的系統(tǒng)是CAVE 伊里諾斯大學開發(fā)的系統(tǒng) 當前的CAVE系統(tǒng)使用四個同樣的喇叭 安在天花板的四角上 而且其幅度變化 衰減 可以仿真方向和距離效果 在正在開發(fā)的系統(tǒng)中 喇叭安在長方體的八個角上 而且把反射和高頻衰減加入用于空間定位的參數(shù)中 CrystalRiverEngineering開發(fā)的系統(tǒng)使用的方案類似于耳機空間定位系統(tǒng) 如Convolvotron 所以用戶可以由一種系統(tǒng)改成另一種 只花費最少時間 房間聲音建模1 聲音的空間分布虛擬環(huán)境聽覺接口以前多數(shù)工作是要提供聲音的空間分布 在這個領(lǐng)域 工作最初集中在仿真正常的空間分布 很少注意提供超正常分布 2 房間聲學建模當前 Acoustetron是唯一的包含簡化的房間實時聲學建模的實時聲音空間定位系統(tǒng) 即使聲學模型是簡單的 并只有少量一階和二階反射 系統(tǒng)提供了加強的現(xiàn)實性 增強現(xiàn)實顯示1 聲音的空間分布要求對任何聲音提供正?？臻g分布 這要求考慮被傳送聲音的復雜頻譜 聲音的傳輸涉及到空間濾波器的傳輸功能 這就是在聲波由聲源傳到耳膜時發(fā)生的變換 在時間域內(nèi) 在濾波器脈沖響應中的時間信號 實現(xiàn)同樣的變換 由于存在兩個耳朵 每只耳朵加一個濾波器 由聲源傳到這個耳膜時發(fā)生的變換 由于虛擬環(huán)境上多數(shù)工作集中在無回聲空間 加之聲源與耳的距離對應的時間延遲 確定濾波器只需要根據(jù)聽者的身體 頭和耳有關(guān)的反射 折射和吸收 于是 傳輸功能看作與頭有關(guān)的傳輸功能 HRTF 當然 在考慮真實的反射環(huán)境時 傳輸功能受到環(huán)境聲結(jié)構(gòu)和人體聲結(jié)構(gòu)的影響 對不同聲源位置的HRTF估計 是通過在聽者耳道中的探針麥克風的直接測量 一旦得到HRTF 則監(jiān)測頭部位姿 對給定的聲源定位 并針對頭部位姿提供適當?shù)腍RTF 實現(xiàn)仿真 Wright Patterson空軍基地的McKinley開發(fā)了一個時域空間定位系統(tǒng) 它給駕駛員提供三維聲音 系統(tǒng)中的HRTF有足夠的方位密度 HRTF在方位上測量每一度 所以不要求方位的插值 在高低角上 測量密度較差 需要使用線性內(nèi)插 已開發(fā)出新的時域處理器 這種市售的機器比以前的系統(tǒng)有更多的存儲器 此外 產(chǎn)品設計加大了靈活性 使研究者能分配處理能力 Convolvotron 使用頻域濾波器 這是下一代空間定位設備 它使用頻域濾波 以較低價格提供更大的容量 此外 因為它是通用的大量生產(chǎn)的數(shù)字信號處理板 所以系統(tǒng)完全模塊化 容易升級 2 房間聲學建模更復雜的真實的聲場模型是為建筑應用開發(fā)的 但它不能由當前的空間定位系統(tǒng)實時仿真 隨著實時系統(tǒng)計算能力的增加 利用這些詳細模型將適于仿真真實的環(huán)境 建模聲場的一般途徑是產(chǎn)生第二聲源的空間圖 在回聲空間中一個聲源的聲場建模為在無回聲環(huán)境中一個初始聲源和一組離散的第二聲源 表示回聲 第二聲源可以由三個主要特性描述 1 距離 延遲 2 相對第一聲源的頻譜修改 空氣吸收 表面反射 聲源方向 傳播衰減 以及 3 入射方向 方位和高低 通常用兩種方法找到第二聲源 鏡面圖像法和射線跟蹤法 Lehnert比較了兩種方法的計算效率 這是相對于可達到的幀頻率 以及對有24個反射面的中等復雜性房間的實時性能 對一個特定的發(fā)射接收布局 計算了8個一階和19個二階反射 對這個測試場景 鏡面圖像法比射線跟蹤法更有效 此外 鏡面圖像法確保找到所有幾何正確的聲路徑 射線跟蹤法 難以預測為發(fā)現(xiàn)所有反射所要求的射線數(shù)目 射線跟蹤方法的優(yōu)點是 即使只有很少的處理時間 它也能產(chǎn)生合理的結(jié)果 通過調(diào)節(jié)可用射線的數(shù)目 它很容易以給定的幀頻工作 鏡面圖像方法由于算法是遞歸的 不容易改變比例 射線跟蹤在更復雜的環(huán)境得到更好的結(jié)果 因為處理時間與表面數(shù)目的關(guān)系是線性的 不是指數(shù)的 雖然對給定的測試情況 鏡面圖像法更有效 但在某些情況射線跟蹤法性能更好 由于聲場模型的計算是聲音處理流水線中最消耗時間的部分 所以這種計算的優(yōu)化是值得的 計算資源可以按照達到仿真精度的要求來分配 例如 若初始聲源已給定 則不要求反射濾波器 而且可以分配給HRTF更多的資源 更多的濾波器系數(shù) 得到更精確的空間圖像 對二階反射 必須進行頻譜濾波 但是由于延遲反射的方向性在心理聲學上不顯著 則對HRTF濾波不要求精確性 聲學單元的結(jié)構(gòu)應允許分配資源的任務 CrystalRiverEngineering和NASA正在研究實時合成復雜聲場的有效算法和信號處理技術(shù) 增強現(xiàn)實顯示聽覺通道的增強現(xiàn)實很少引起注意 如在視覺通道一樣 在許多應用中必須組合計算機合成的聲音信號與采樣的真實聲音信號 采樣的真實聲音信號來自當?shù)丨h(huán)境 或借助遙操作系統(tǒng)來自遠地環(huán)境 一般來自當?shù)丨h(huán)境的信號可以由耳機周圍的聲音泄漏得到 或者由當?shù)丨h(huán)境中的定位麥克風 可能在頭盔上 得到 并把聲音信號加在電路中合成而不是在聲音域合成 但是因為希望在加入以前處理這些環(huán)境信號 或者希望在環(huán)境信號聲源在遠地的情況利用同樣的系統(tǒng) 所以要用后一種途徑 聲音增強現(xiàn)實系統(tǒng)應能接收任何環(huán)境中麥克風感受的信號 以適應給定情況的方式變換這些信號 再把它們增加到VE系統(tǒng)提供的信號上 當前 聲音增強現(xiàn)實系統(tǒng)最明顯的應用是使沉浸在某種VR任務中的用戶同時處理真實世界中的重要事件 如真實世界中的警告信號 4非語音聲音合成1 非語音聲音合成問題在聲音空間定位和建模領(lǐng)域中進行了很多工作 在物理建模和計算機生成非語音聲音領(lǐng)域的工作還很少 2 非語音聲音合成的方法 1 附加合成 2 相減合成 3 物理建模3 非語音聲音合成的設備當前用于非語音聲音生成的設備可分兩大類 采樣器以數(shù)字形式記錄聲音并在以后實時重放 合成器依靠為模仿樂器開發(fā)的聲音生成技術(shù)的分析與算法 1 非語音聲音合成問題 問題是怎樣建立實時系統(tǒng) 以能產(chǎn)生偽音樂聲音 以及純環(huán)境聲音 如開門或打破玻璃 理想的合成設備能靈活地產(chǎn)生全連續(xù)的非語音聲音 并能實時地連續(xù)調(diào)制與這些聲音有關(guān)的各種聲音參數(shù) 這種設備用作聲源特征產(chǎn)生器 它可以用作聲音空間定位系統(tǒng)的輸入 于是 至少在開始 聲源產(chǎn)生和空間合成是聲音顯示集成系統(tǒng)中功能分離的部件 控制分離設備要求某些額外代價 優(yōu)點是每個部件可以開發(fā) 升級 并用作獨立部件 于是系統(tǒng)不至封鎖在過時的技術(shù)中 用于產(chǎn)生非語音聲音的很多算法是基于最初為合成音樂及語音而開發(fā)的技術(shù) 語音合成的主要目標是產(chǎn)生智能的 或自然聲音的 語音波形 為此必須精確地合成人的語音 在語音合成中 最終的聲音輸出可以根據(jù)可測的信息量及語音的逼真度確定 在合成音樂中 一般目標不是特殊的或受限的 它們根據(jù)設計者的某些主觀準則確定 通常目標是產(chǎn)生有特定感知質(zhì)量的聲波 或者仿真某些傳統(tǒng)的物理聲源 或者產(chǎn)生某些有適當屬性的獨特聲音 因為合成音樂的目標比合成語音更多樣 所以有大量不同的可利用的合成方法 方法的選擇取決于特定的目標 設計者的知識和資源 在任一種合成方法中 設計者控制某些時變參數(shù) 產(chǎn)生不同感知質(zhì)量的聲波 計算機控制的參數(shù)可能關(guān)系到被建模樂器的物理參數(shù) 關(guān)系到聲波的形狀和頻譜 或關(guān)系到希望的感知質(zhì)量 通常集合這些不同的技術(shù) 可以得到特定的效果 下面是某些一般的技術(shù) 2 非語音聲音合成的方法 1 附加合成計算機控制的合成的一種方法是附加合成 在這種方法中 是用短時間富里衰方法疊加簡單的正弦波 產(chǎn)生合成聲音 或儀器譜線 這種方法的一個問題是產(chǎn)生有特定質(zhì)量的聲音信號所需的參數(shù)數(shù)目太大 這反映出許多重要的音樂感知遠遠超出短時間富里衰參數(shù) 于是 合成一個具體質(zhì)量要求的聲音是麻煩的 附加合成往往用于仿真已知聲音 首先分析要求的已知聲音 再直接測量這些參數(shù) 在已知參數(shù)中小的改變可以細調(diào)聲波 另一個常用技術(shù)是頻率調(diào)制 FM 合成 設計者規(guī)定信號的載頻 調(diào)制系數(shù)和調(diào)制頻率 通過改變載頻與調(diào)制頻率的關(guān)系 合成的聲音可能是調(diào)諧的或非調(diào)諧的 在調(diào)諧的合成聲音中 這個關(guān)系確定在聲音中存在什么泛音 這在音色感知中是重要的 改變調(diào)制系數(shù)的值 可以控制合成聲音頻譜的散布 從而控制感知的程度 由于頻率調(diào)制參數(shù)值與合成輸出的感知方面之間的關(guān)系是直接的 所以頻率調(diào)制方法是常用的 這個技術(shù)被許多市售的合成器采用 2 相減合成相減合成是音樂合成的術(shù)語 它是由濾波操作形成要求的聲音頻譜 成為物理建模的現(xiàn)代途徑的先導 相減合成往往用于樂器的簡單的物理模型 設計者規(guī)定聲源波型和濾波器 它們可以符合或不符合真實樂器的關(guān)系 傳統(tǒng)的樂器也可以用這種方式建立數(shù)學模型 它們被某些振動噪音源激勵 樂器的物理特性過濾這些聲音 對于銅管樂器 用戶唇的振動是聲源 在弦樂器中聲源是弦振動 對于歌手 聲源是音帶的作用 影響聲音輸出的物理特性包括 樂器形狀 有效長度 材料反射等 通過建模刺激源的振動方式 樂器物理特性的聲音效果 相減合成可以用于合成已知的樂器 在演奏樂器時 通過開閉鍵或閥門 可以改變樂器的有效尺寸 這些變化引起建模的濾波器隨時間改變 因為建模聯(lián)系到物理參數(shù) 所以不難調(diào)節(jié)參數(shù)達到要求的效果 相減合成是這種集成特性建模的第一個嘗試 基于集成特性的幾個最近的物理建模技術(shù)包括 數(shù)字波導技術(shù) 傳遞函數(shù)技術(shù) 模態(tài)合成 以及物質(zhì)彈性模型 它們能合成樂器聲音和人的歌聲 3 物理建模另一種選擇是開發(fā)一個方法 通過建模物理聲音事件的運動產(chǎn)生聲音 如波方程的數(shù)值積分 由解樂器運動方程產(chǎn)生聲音 能獲取樂器的自然參數(shù) 包括許多重要的物理特性 表示聲音系統(tǒng)的一般方法是利用在時域和三維空間域的偏微分方程 PDE 但是強化的數(shù)值計算和實時計算的約束說明這是不現(xiàn)實的 為減小聲音生成任務的計算復雜性 且不放棄表示的物理本質(zhì) 一種途徑是用物理模型的集成特性 而不是在微觀層次求解問題 解偏微分方程 碰撞聲音是虛擬環(huán)境中簡單聲音事件的例子 可以預測兩個物體可能的碰撞 這是通過觀看它們的路徑 物體實際破碎或變形的短促聲音是碰撞聲音 它表現(xiàn)出物體結(jié)構(gòu)怎樣受碰撞影響 為了說明怎樣用物理模型產(chǎn)生碰撞聲音 選擇均勻桿作為實例結(jié)構(gòu) 對桿結(jié)構(gòu)的振動 機械理論有認真的研究 并為碰撞聲音合成提供了堅實的基礎(chǔ) 碰撞可以分解成兩部分 開始碰撞事件的激勵部分 發(fā)生振動現(xiàn)象的諧振部分 激勵模塊受到碰撞力 位置和持續(xù)時間的影響 諧振模塊取決于結(jié)構(gòu)約束條件 材料密度 彈性模量 以及物體幾何尺寸 如長 寬 高 因為均勻桿有簡單的結(jié)構(gòu) 所以可能以方程描述它的主要振動方式 并根據(jù)集成物理特性計算自然的諧振頻率 自然諧振頻率表現(xiàn)材料類型和物體形狀之間的緊密聯(lián)系 并可能顯示物體特性 對復雜的自由形式物體 可以用有限元分析計算對主要振動模式的諧振頻率 另一個課題涉及音樂合成的廣泛領(lǐng)域 并關(guān)系到在VR中使用聲音 它利用特殊的計算結(jié)構(gòu)進行音樂作曲 用特殊的硬件和軟件作音樂合成 3 非語音聲音合成的設備在采樣器中 許多不同的聲音可以精確地繪制 但為精確記錄聲音要求大量工作和存儲介質(zhì) 而且對聲音參數(shù)只有有限的實時控制 反之 合成器提供適當程度的實時的計算機驅(qū)動的控制 廣泛應用的合成器和采樣器是基于MIDI 樂器數(shù)字接口 技術(shù) 當連到標準串行計算機線路 19 2kbar 時 這種設備的波特率 31 25kbar 還是低的 不能連續(xù)實時控制多個聲源 一般 基于合成的MIDI設備 如使用頻率調(diào)制的設備 在實時控制的類型上比采樣器更靈活 但可繪制的聲音質(zhì)量的變化上它不夠一般 例如 難以由FM合成器產(chǎn)生環(huán)境聲音 如打破物體 最一般的系統(tǒng)是基于聲源特性的物理或聲學模型的合成 一個簡單但不夠通用的途徑是重放采樣的聲音或利用一般的MIDI設備 由于很一般的物理模型難以開發(fā) 或許是不可行的 并計算復雜 所以更實用的直接可達到的系統(tǒng)是混合途徑的 它使用的技術(shù)包括實時操作被采樣聲音的簡單參數(shù) 如音調(diào) 濾波帶寬 或強度 以及被采樣聲音間的實時內(nèi)插 類似計算機圖形的變形 EmuMorpheus合成器是這種途徑的例子 當前幾個合成器廠商發(fā)布了基于物理建模技術(shù)的新產(chǎn)品 MediaVision開發(fā)的聲音卡是基于數(shù)字波導 YamahaVL1鍵盤合成器基于未說明的物理建模技術(shù) 基于Macintosh的KorgSynthKit允許通過視覺編程語言的互連來構(gòu)造聲音 它包括表示錘子打擊 彎弓 簧片的模塊單元 隨著產(chǎn)生這種仿真的算法和硬件的進展 也需要為虛擬聽覺開發(fā)可擴充的協(xié)議 這個協(xié)議必須包含今天使用的所有聲音模型 以及將來發(fā)展中預期的模型 這個協(xié)議應允許系統(tǒng)開發(fā)者和設計者利用VR技術(shù) 第四節(jié)力覺和觸覺顯示 虛擬現(xiàn)實的接口設備 力覺和觸覺顯示概述力覺和觸覺顯示2 4 1力覺和觸覺顯示概述1 接觸反饋和力反饋接觸接口可以按照提供給用戶的信息分成兩類 接觸反饋和力反饋 接觸反饋給用戶提供的信息有 物體表面幾何形狀 表面紋理 滑動等 力反饋給用戶提供的信息有 總的接觸力 表面柔順 物體重量等 接觸接口還可以分成 部分身體運動接口 以及全身運動接口 部分身體運動接口 安裝在人體的一部分 如手 臂 軀干等 全身運動接口則全面支持在虛擬環(huán)境中的主動和被動的運動 但這種接口技術(shù)還遠未成熟 機械接觸接口的一個重要的指標是 自由度 DoF 由操作器的觀點看 自由度是關(guān)節(jié)的數(shù)目 這些關(guān)節(jié)是位置受控的 也是力矩受控的 接觸反饋和力反饋是很重要的感覺通道 Cutt認為 人們以各種方式利用觸覺反饋完成任務 一種方式是探測部分環(huán)境 實現(xiàn)對物體 位置和方向的觸覺識別 其次 主動利用觸覺識別來操作或移動物體 完成任務 在虛擬環(huán)境中缺乏觸覺識別就失去了給用戶的主要信息源 當前在虛擬環(huán)境中主要的數(shù)據(jù)獲取是用視覺和非接觸傳感器 如聲音 許多任務需要靈巧的操作和接觸感 如遙控機器人探測和感覺物體的表面形狀 沒有觸覺識別就不能滿足它們的信息要求 下圖表示 各種不同類型的抓取動作 圖中從左到右 按照力量大小和靈巧程度排列 接觸接口允許用戶接觸 感覺 操作 創(chuàng)造 以及改變虛擬環(huán)境中的三維虛擬物體 人類的接觸功能在與虛擬環(huán)境交互中起重要的作用 接觸感不僅可以感覺和操作 而且是人類許多活動的必要組成部分 因此 沒有接觸和力反饋 就不可能與環(huán)境進行復雜和精確的交互 2 接觸反饋和力反饋的要求在虛擬現(xiàn)實交互中 沒有真實的被抓物體 虛擬接觸反饋和力反饋需要復制實時計算的接觸力 表面形狀 平滑性和滑動等 除了對所有傳感通道的實時要求外 對虛擬接觸反饋和力反饋還有某些特殊要求 首先是安全性 因為虛擬力反饋在用戶手上加真實的力 這種力應該是大的 使用戶的手停住 在硬物體仿真中 同時這種力不應該大到傷害用戶 在這種情況 好的設計是 故障 安全 的 一旦計算機出故障 用戶也不會受傷害 另一個問題是所用的反饋執(zhí)行機械的類型 液壓執(zhí)行機械是遙控機器人設計者的選擇 這是由于其優(yōu)越的控制