文/VR陀螺 案山子

在經(jīng)歷了冗長的iPhone、iPad、Apple Watch、Mac產(chǎn)品與系統(tǒng)介紹后，現(xiàn)場的所有觀眾，以及遠(yuǎn)程所有沉浸在“不眠之夜”里的從業(yè)者們，在庫克的一聲“One more thing”下，開始轟動起來。沉寂的現(xiàn)場也響起了轟鳴的掌聲和尖叫聲。

(資料圖)

不知從何時(shí)起，蘋果發(fā)VR/AR設(shè)備的消息，就像從業(yè)者心中的一塊大石，一直懸著，牽動著整個產(chǎn)業(yè)……

直到今天，這顆大石終于落下，蘋果MR終端——Vision Pro正式發(fā)布。而基于蘋果加入XR戰(zhàn)局，產(chǎn)業(yè)將迎來一個全新的時(shí)代。

VR陀螺有幸在現(xiàn)場見證這一時(shí)刻，懷著無比激動的心情，我們也不禁想要剖析，蘋果的首款MR設(shè)備，究竟蘊(yùn)含了什么意義，哪些技術(shù)點(diǎn)值得關(guān)注。

圖源：VR陀螺

新的空間計(jì)算時(shí)代開啟，向著終極目標(biāo)——AR

“今天標(biāo)志著計(jì)算技術(shù)新時(shí)代的開端”。蘋果公司CEO Tim Cook（以下簡稱庫克）說興奮地說道。

“如同 Mac將我們帶入個人計(jì)算時(shí)代， iPhone將我們帶入移動計(jì)算時(shí)代，Apple Vision Pro將帶我們進(jìn)入空間計(jì)算時(shí)代?；?Apple 數(shù)十年的創(chuàng)新積累，Vision Pro 是遙遙領(lǐng)先的空前之創(chuàng)，帶來革命性的全新輸入系統(tǒng)和數(shù)以千計(jì)的創(chuàng)新技術(shù)。它為用戶帶來絕佳體驗(yàn)，并為開發(fā)者帶來振奮人心的新機(jī)會?！?/p>

計(jì)算平臺從PC發(fā)展至手機(jī)，雖然屏幕實(shí)現(xiàn)了從大到小，使用場景從家用到移動便攜，從非智能到智能，但是人機(jī)交互、人與人、人與世界的交互方式，仍然被局限于一塊2D的顯示屏中，它有界限，所以無法提供極致的沉浸感，這也是VR一出現(xiàn)就讓萬千從業(yè)者興奮不已的原因所在。

未來的互聯(lián)網(wǎng)形態(tài)，將是3D空間互聯(lián)網(wǎng)，將徹底改變?nèi)伺c機(jī)器、人與人、物與物之間的交互方式。而未來3D空間互聯(lián)網(wǎng)的入口，在實(shí)現(xiàn)腦機(jī)接口之前，VR陀螺認(rèn)為一定會是VR、AR終端。

但究竟是VR還是AR終端，如果單從業(yè)界目前對產(chǎn)品的劃定來看，蘋果Vision Pro從形態(tài)和技術(shù)路徑上來看，顯然會被劃入到VR的行列中，它通過全彩“Video See Through”（以下簡稱VST）來實(shí)現(xiàn)MR融合效果，在此之前，包括Meta、PICO以及其他的創(chuàng)業(yè)公司VR頭顯均已在此方向推出相關(guān)產(chǎn)品。

MR的光學(xué)形態(tài)分為VST與OST，相比VR通過攝像頭先將現(xiàn)實(shí)捕捉下來再傳入到虛擬世界，通過算法進(jìn)行融合，AR產(chǎn)品則直接通過光學(xué)（Optical）實(shí)現(xiàn)了真實(shí)世界的透視，通過對真實(shí)環(huán)境的感知讓虛擬物體與之融合。

圖源：蘋果

以上是目前核心的兩種產(chǎn)品形態(tài)下，實(shí)現(xiàn)MR的技術(shù)形式。而蘋果之所以并沒有直接在現(xiàn)階段推出基于OST的AR產(chǎn)品，而選擇了基于VST的VR產(chǎn)品，這背后與底層技術(shù)發(fā)展、供應(yīng)鏈、產(chǎn)業(yè)生態(tài)息息相關(guān)。

VR在多年的發(fā)展迭代過程中，很多東西都已經(jīng)逐步形成標(biāo)準(zhǔn)，如光學(xué)從菲涅爾透鏡過渡到Pancake，相應(yīng)的技術(shù)路徑、實(shí)現(xiàn)效果以及生產(chǎn)工藝都已經(jīng)得到驗(yàn)證和完善；其他相關(guān)技術(shù)，如VST融合、眼動追蹤、手勢識別等等，也都應(yīng)用相對廣泛。此外，VR的產(chǎn)品形態(tài)和內(nèi)容生態(tài)也在多年的積累中，達(dá)到2000多萬臺出貨量級，于消費(fèi)市場有了一定的認(rèn)知和生態(tài)基礎(chǔ)。

反觀AR，對于所有人理想中的終極目標(biāo)——如普通眼鏡般輕薄、大FOV、低功耗、長續(xù)航、多場景、全天候佩戴……底層光學(xué)技術(shù)還處于極其分散的狀態(tài)，棱鏡、自由曲面、Birdbath、陣列波導(dǎo)、衍射波導(dǎo)、體全息波導(dǎo)并存，針對不同場景采用不同的光學(xué)方案也不一致。而面向消費(fèi)市場，能夠滿足終極目標(biāo)要求的產(chǎn)品，所涉及到的光學(xué)技術(shù)、顯示、交互、量產(chǎn)工藝、電池、功耗等等，都還需要時(shí)間迭代。另一方面，面向消費(fèi)市場的AR產(chǎn)業(yè)生態(tài)基礎(chǔ)也更為薄弱，特別是內(nèi)容開發(fā)生態(tài)，以及內(nèi)容的商業(yè)模式，它們尚未跑通。

圖源：VR陀螺

諸多因素下，現(xiàn)階段顯然相較于AR，VR路徑更為靠譜。

在不久前，VR陀螺曾經(jīng)發(fā)布一篇文章《蘋果MR頭顯，一次創(chuàng)新的折中》，從2016年開始，庫克幾乎有超過20次在公開場合表達(dá)對AR的看好，部分的交流中還提到了他對VR和AR的態(tài)度差異?？偨Y(jié)來看，庫克的目標(biāo)一直很清晰——AR。

“VR和AR都很有意思，但我目前認(rèn)為二者之間，AR將更具價(jià)值。AR可以讓我們兩個人都坐下來并且面對面彼此交談，并且我們還能看到一些其他的東西。這些東西可能與我們正在談?wù)摰氖虑橛嘘P(guān)，可能是一些不在場的人假裝在場。”“我非常相信AR。它可以增強(qiáng)我們正在進(jìn)行的對話，增強(qiáng)學(xué)習(xí)能力，并真正放大技術(shù)與人的價(jià)值，而不是封閉或關(guān)閉現(xiàn)實(shí)世界?！薄癆R最終會像一日三餐一樣成為每個人生活的一部分，就像iPhone一樣。與AR相比，盡管VR也很重要，但它的應(yīng)用領(lǐng)域不會那么大?！薄拔艺J(rèn)為AR非常有趣，是一種核心技術(shù)。所以，我們談到（我們在）幕后做了很多事情。”“AR對于世界的影響將與互聯(lián)網(wǎng)本身一樣深遠(yuǎn)?！薄拔艺J(rèn)為這（AR）將是一個像智能手機(jī)一樣的大創(chuàng)意，會像智能手機(jī)一樣適合所有人?！薄?/p>

圖源：網(wǎng)絡(luò)

庫克對AR的熱情不必多言，只是，多年傳言多年跳票的MR設(shè)備，為什么會在這樣的一個時(shí)間點(diǎn)發(fā)布，VR陀螺認(rèn)為可能會有多方面因素。

技術(shù)路徑確定了之后，首先產(chǎn)品端的完成度達(dá)到了一定程度。不論是VR還是AR終端，核心技術(shù)涉及諸多板塊，特別是蘋果封閉的生態(tài)下需要做的基礎(chǔ)工作會更多。產(chǎn)品、光學(xué)、交互、算法、芯片、系統(tǒng)，一套新的技術(shù)形態(tài)和技術(shù)范式下，很多東西都需要從頭開始，而蘋果也為此布局了多年，才能夠?qū)崿F(xiàn)如今各層面的打通，當(dāng)然它仍然不完美，所以才有了發(fā)布前傳聞蘋果內(nèi)部出現(xiàn)對產(chǎn)品不同聲音的消息。

其次筆者認(rèn)為，庫克自身對推動革命性技術(shù)范式的產(chǎn)品是有“執(zhí)念”的。自2011年8月成為蘋果CEO開始，庫克至今正式任職已超過4302天，超過了史蒂夫·喬布斯的4249天。而據(jù)媒體報(bào)道，在10年任期屆滿前一年，董事會又授予了他新的股票期權(quán)，準(zhǔn)備挽留他到2025年。

庫克商業(yè)能力無可厚非，但一直被詬病創(chuàng)新不足，而VR、AR恰巧是跨時(shí)代的創(chuàng)新產(chǎn)品。

正如庫克所說，“今天（Vision Po發(fā)布）標(biāo)志著計(jì)算技術(shù)新時(shí)代的開端”。或許這既是執(zhí)念，也是庫克自身對蘋果的“使命”所在。

極限堆料，蘋果MR頭顯技術(shù)拆解！

行業(yè)之所以如此相信蘋果能引領(lǐng)風(fēng)向，必然離不開蘋果的產(chǎn)品力。風(fēng)格獨(dú)特、標(biāo)簽鮮明，不去問用戶需要什么然后去滿足，而是創(chuàng)造一種產(chǎn)品去引導(dǎo)用戶需求。在這樣的產(chǎn)品理念下，蘋果在整個消費(fèi)電子市場上取得了巨大的成功，也成為了產(chǎn)業(yè)技術(shù)的風(fēng)向標(biāo)。

這也是為何所有人都期待蘋果為產(chǎn)業(yè)帶來變革。

首先看一下蘋果Vision Pro產(chǎn)品參數(shù)及核心功能：

圖源：VR陀螺

在VR陀螺看來，蘋果Vision Pro產(chǎn)品，讓行業(yè)見證了不計(jì)成本堆料，以實(shí)現(xiàn)天花板級效果的產(chǎn)品思路。最終也導(dǎo)致了售價(jià)達(dá)到3500美金。

在Vision Pro中，有幾個部分的技術(shù)板塊比較值得關(guān)注：

1.42英寸Micro OLED 4K顯示屏

顯示方面，Vision Pro主顯示屏采用Micro OLED，單眼分辨率達(dá)到4K，這是目前市場上首次出現(xiàn)的使用Micro OLED實(shí)現(xiàn)雙目8K效果的產(chǎn)品，而事實(shí)也證明了，超高分辨率所獲得的視覺體驗(yàn)反饋總體非常正向，已知的體驗(yàn)了產(chǎn)品的人幾乎都給出了相當(dāng)高的評價(jià)。

目前市場上大部分的VR產(chǎn)品，出于成本考慮，大多采用LCD或者M(jìn)ini LED背光+LCD的形式，優(yōu)勢很明顯，成本低、量產(chǎn)成熟良率高，缺點(diǎn)也明顯，亮度、ppi、對比度和色域等各方面參數(shù)也更低。

不同屏幕參數(shù)對比，圖源：VR陀螺

所以如Quest 2、PICO 4價(jià)格都在2000-3000元之間。而Micro OLED單塊屏的價(jià)格就已高達(dá)上百甚至數(shù)百美元。據(jù)了解，蘋果的Mirco OLED為完全定制，尺寸達(dá)到1.42英寸，屬于目前尺寸最大的Micro OLED屏。

Micro OLED顯示屏需要采用半導(dǎo)體工藝，在量產(chǎn)工藝上實(shí)際已經(jīng)成熟，只是之前大部分的產(chǎn)品應(yīng)用于單反相機(jī)的取景器等領(lǐng)域，出貨已經(jīng)達(dá)到百萬級別；此外，這幾年Birdbath方案的AR眼鏡也是Micro OLED的一個重要應(yīng)用陣地；但前面這些領(lǐng)域所使用的屏幕尺寸都在1英寸以內(nèi)，如AR眼鏡所采用的尺寸多為0.71、0.68、0.49英寸三個尺寸，而之所以沒有出更大尺寸的產(chǎn)品，是由于之前并沒有相關(guān)的市場需求。

如今應(yīng)用到VR產(chǎn)品中，為了獲得更大的FOV，也就需要更大的屏幕支撐，所以供應(yīng)鏈企業(yè)都在著力研發(fā)1.3英寸以上的Micro OLED屏幕。這也意味著對量產(chǎn)工藝有更高的要求，因?yàn)榧幢愎に嚦墒?，但要在擴(kuò)大兩倍的屏幕上，維持同樣的質(zhì)量標(biāo)準(zhǔn)，如色彩、灰階、亮度、均勻性、壞點(diǎn)等都不超出原有質(zhì)量標(biāo)準(zhǔn)，所以提升良率是目前Micro OLED廠商需要面對和解決的問題核心。

M2+R1雙芯片搭配

雙芯片搭配也是目前MR設(shè)備（主要指VR）中首次出現(xiàn)的方案。M2原本就屬于蘋果最高規(guī)格系列SOC，主要用于Mac電腦中，所以用在此次的MR設(shè)備中相當(dāng)于將PC端的處理能力帶到了移動端。

M2芯片性能圖，圖源：網(wǎng)絡(luò)

由于M2是2022年發(fā)布的芯片平臺，其性能在此不過多贅述。相比M2，此次發(fā)布的M2 Ultra也非常值得關(guān)注。它由1340億個晶體管組成，比M1 Ultra多200億個。雖然尚未用在MR設(shè)備中，但介紹的很多技術(shù)性能顯然是有針對性的優(yōu)化的。如GPU性能是M2 Max的兩倍，可實(shí)現(xiàn)極快的ProRes加速。在配備M2 Ultra的Mac Studio上使用Octane渲染3D效果，比配備M1 Ultra的Mac Studio快3倍；32核神經(jīng)網(wǎng)絡(luò)引擎，每秒可提供31.6萬億次運(yùn)算，比M1 Ultra快40%；具有專用的、支持硬件的 H.264、HEVC和ProRes編碼和解碼功能，能夠播放多達(dá)22個8K ProRes 422視頻流；顯示引擎最多支持六個Pro Display XDR，驅(qū)動超過1億像素。

核心運(yùn)算、3D渲染、AI神經(jīng)網(wǎng)絡(luò)、視頻解碼、顯示支持等，都是MR中極其需要的核心能力，而且其性能遠(yuǎn)超現(xiàn)有的VR一體機(jī)使用的移動平臺SOC的性能。

已經(jīng)有了如此強(qiáng)大的主處理芯片，為何還要使用協(xié)處理芯片也是產(chǎn)品設(shè)計(jì)中值得玩味的地方。

協(xié)處理芯片在AR中目前即將開始應(yīng)用，如高通發(fā)布的AR2，就是針對AR眼鏡實(shí)現(xiàn)Slam及無線功能的協(xié)處理芯片，將空間定位數(shù)據(jù)用單獨(dú)的芯片來進(jìn)行處理，以減輕對主處理器的負(fù)荷。如果說AR是基于輕量化和無線化考慮的話，那蘋果之所以會用協(xié)處理，看起來似乎更像是傳感器過多，所帶來的處理壓力需要分擔(dān)出來。

在蘋果Vision Pro上，共有12個攝像頭，5個傳感器（其中 1*LiDAR、2*結(jié)構(gòu)光深度傳感、2*IR紅外傳感），他們分別用來處理Slam空間環(huán)境感知、手勢識別、三維建模和眼動追蹤等功能。

圖源：蘋果

對運(yùn)算比較高的主要來自實(shí)現(xiàn)VST的兩個4K RGB攝像頭，這是實(shí)現(xiàn)高清VST效果的關(guān)鍵，并且其長時(shí)間屬于運(yùn)行狀態(tài)。Quest Pro上僅搭載1個1600萬像素的RGB，所以傳輸?shù)窖坨R中的現(xiàn)實(shí)畫面清晰度較低。

Vision Pro支持虛擬和現(xiàn)實(shí)環(huán)境無縫切換。與其他產(chǎn)品直接從虛擬一鍵切換到現(xiàn)實(shí)的效果不同的是，Vision Pro通過旋鈕實(shí)現(xiàn)精準(zhǔn)絲滑的漸變效果。而為了實(shí)現(xiàn)這個效果，協(xié)處理器中RGB VST的處理需要一直工作，即便在純虛擬環(huán)境下也處于工作狀態(tài)，以便為用戶隨時(shí)切換。雙4K RGB攝像頭以每秒60幀頻率不斷拍攝，為數(shù)據(jù)處理帶來了龐大的計(jì)算量，以及相應(yīng)的功耗，所以作為協(xié)處理芯片，R1的制程達(dá)到了5nm。

高清+流暢的VST效果是Vision Pro的技術(shù)亮點(diǎn)之一，根據(jù)官方公布的數(shù)據(jù)，其圖像延遲低于12ms。

據(jù)了解，延遲分為物理延遲和入眼延遲，蘋果此處所指應(yīng)為物理延遲。

所謂的物理延遲也就是傳感器出來經(jīng)過協(xié)處理器，到直接上屏的時(shí)間。但是上屏幕之前算法必須要做補(bǔ)償，算法不補(bǔ)的延遲稱為物理延遲，算法補(bǔ)完后稱為入眼延遲。

據(jù)了解，如果使用Meta這種不經(jīng)過協(xié)處理器的情況下，經(jīng)過CPU、GPU處理，物理延遲約30-40ms，物理延遲越大，算法補(bǔ)出來的效果就會稍微有點(diǎn)欠缺。所以蘋果物理延遲做到極致以后，它算法補(bǔ)出來的效果就會特別的好，這也是為什么VST效果幾乎感覺不到延遲的主要原因。

協(xié)處理芯片與主處理芯片處理VST的路徑差異，圖源：VR陀螺

對比兩種不同的處理路徑，顯然協(xié)處理在VST這個板塊效率要更高。

除此兩個4K RGB攝像頭的圖像處理之外，Vision Pro其他傳感器的使用數(shù)量也遠(yuǎn)遠(yuǎn)超過其他VR設(shè)備。以Quest Pro為例，頭顯上的攝像頭+傳感器為10個；蘋果達(dá)到了17個。蘋果增加了1個激光雷達(dá)和2個結(jié)構(gòu)光深度傳感器，用來實(shí)現(xiàn)更好的三維空間建模和空間感知，以及用于創(chuàng)建Avatar的面部三維重構(gòu)。應(yīng)用場景中的3D圖像和視頻拍攝就是基于這些傳感器結(jié)合RGB攝像頭來實(shí)現(xiàn)。

在眼動追蹤部分，蘋果也采用了4個攝像頭，與此對應(yīng)的Quest Pro僅使用2個，不得不說，為了效果蘋果似乎完全沒考慮成本。

瘋狂堆料同時(shí)也帶來了一些弊端——功耗大，單眼4K的Micro OLED屏+眾多傳感器數(shù)據(jù)處理，導(dǎo)致了外掛的電池續(xù)航僅有2個小時(shí)，此外發(fā)熱應(yīng)該也是其需要解決的核心問題之一。

（本部分內(nèi)容感謝協(xié)處理芯片企業(yè)耀宇視芯杜逢博博士的大力支持）

外置電池，圖源：蘋果

3P Pancake，光學(xué)效果>工藝難度、重量

Pancake折疊光路是目前VR設(shè)備的主流光學(xué)方案，蘋果也不例外采用了該方案。相比傳統(tǒng)VR顯示光機(jī)(菲涅爾和非球面)，Pancake折疊光路設(shè)計(jì)可以大幅減小厚度，其核心原理是圖像源進(jìn)入半反半透功能的鏡片之后，光線在鏡片、相位延遲片以及反射式偏振片之間多次折返，最終從反射式偏振片射出。

相比PICO 雙鏡片的方案，蘋果采用了3片鏡片，從而實(shí)現(xiàn)更好的光學(xué)效果。

2P Pancake光學(xué)方案原理圖，圖源：網(wǎng)絡(luò)

相比于1P、2P Pancake設(shè)計(jì)(TTL基本在20mm以上)，3P Pancake光機(jī)模組不僅能帶來更高的清晰度、更小的畸變以及色差之外，經(jīng)過多次折返其厚度還能進(jìn)一步縮短。但劣勢也比較明顯，會增加工藝難度以及物料成本、重量，可見在光學(xué)方面，蘋果為了實(shí)現(xiàn)最好的視覺效果，選擇了工藝最難的方向。

此外，由于Pancake的光損較大，所以需要高亮度的屏幕來實(shí)現(xiàn)更高的入眼亮度，這也是Micro OLED的優(yōu)勢之一。

從蘋果真機(jī)厚度來看，（目測）去掉海綿眼罩的頭顯厚度約30多毫米，得益于優(yōu)秀的工業(yè)設(shè)計(jì)（視覺錯位），整體觀感會覺得頭顯很輕薄。

頭顯實(shí)拍圖，圖源：VR陀螺

隱私安全的最佳方案：虹膜識別

數(shù)日前，七鑫易維、騰訊微信支付聯(lián)合推出的眼動追動+虹膜識別VR/AR內(nèi)的支付方案的消息公布，VR陀螺也第一時(shí)間到創(chuàng)維公司體驗(yàn)了搭載該模組的方案，這也是國內(nèi)首次在商用VR頭顯中搭載虹膜識別支付方案。

VR/AR內(nèi)的支付一直是困擾企業(yè)的痛點(diǎn)，基于VR/AR的產(chǎn)品形態(tài)和交互方式，目前常用的指紋、面部、密碼并不適用，由于難以在體驗(yàn)過程中無縫實(shí)現(xiàn)支付，所以大部分的應(yīng)用采用了在手機(jī)APP端以一次性付費(fèi)下載的方式進(jìn)行。

虹膜被視為是未來VR/AR中理想的隱私安全技術(shù)方案，首先其相比指紋、面部、密碼的安全系數(shù)更高。虹膜的特征人各有異，連同卵雙胞胎也不例外。在出生18個月后，虹膜就已定型，終生不變，受外界氣候環(huán)境變化、身體變化等影響非常小，是一項(xiàng)非常穩(wěn)定的生物特征。這決定了虹膜特征的獨(dú)特性，同時(shí)也決定了身份識別的唯一性。因此，人們發(fā)現(xiàn)，將虹膜作為密碼，具有更好的長期安全性。

圖源：蘋果

虹膜識別實(shí)際上也是比較成熟的技術(shù)，早是20多年前就已經(jīng)應(yīng)用于安防級別較高的軍事、科研單位等，如今也逐漸開始應(yīng)用到消費(fèi)市場，包括部分手機(jī)上。

虹膜的主要原理是通過圖像采集系統(tǒng)，采集虹膜照片后對圖像預(yù)處理，從采集圖像中，準(zhǔn)確定位找出虹膜，并進(jìn)行圖像增強(qiáng)處理；接下來提取虹膜特征，采用特定的算法從虹膜圖像中提取出虹膜識別所需的特征點(diǎn)，并對其進(jìn)行編碼；最后匹配虹膜身份，將特征提取得到的特征編碼與數(shù)據(jù)庫中的虹膜圖像特征編碼逐一匹配，判斷是否為相同虹膜，從而達(dá)到身份識別的目的。

其核心方式與面部、指紋相似，安全系數(shù)更高主要在與虹膜的重合率極低，且不會輕易被別人采集用于違法等活動。

同時(shí)，其與VR/AR天然結(jié)合。據(jù)了解，在VR/AR設(shè)備中可以直接共用眼動追蹤模組來對虹膜進(jìn)行拍攝和識別，不需要額外的硬件模組，并且，其對于捕捉端的像素要求不高，200萬像素就可以實(shí)現(xiàn)比較好的效果。

在識別率和適用性上，虹膜幾乎對所有不同瞳色的人，都能實(shí)現(xiàn)很準(zhǔn)確的識別，即便是青光眼、白內(nèi)障等眼疾人群，理論上也不會影響，因?yàn)檠奂灿绊懙牟皇呛缒ば畔?，而是晶狀體部位。但是有些疾病，比如說不小心把眼睛的瞳孔變成橢圓或者方形，那基本上就很難識別了。

可以預(yù)見的是，國內(nèi)騰訊推動，海外蘋果MR內(nèi)置的虹膜功能，或許很快就能在更多的VR終端中看到。

（本部分內(nèi)容感謝虹膜識別企業(yè)點(diǎn)與面科技程總的大力支持）

圖源：VR陀螺

實(shí)時(shí)+高自由，空間音頻射線追蹤技術(shù)

相比視覺，聽覺的重視程度并不高，不過蘋果在這方面也有所布局，在此次Vision Pro中有所呈現(xiàn)。

就像光線追蹤一樣，聲音也可以用射線追蹤，這種被稱為幾何聲學(xué)（GA）。早在2021年，蘋果就公布了相關(guān)的技術(shù)專利。

與可視化類似，虛擬環(huán)境的所謂 "聽覺化 "描述了聲音在圍墻內(nèi)傳播的模擬，其中幾何聲學(xué)（GA）的方法可用于模仿合成聲波的某些現(xiàn)實(shí)行為帶來的聽覺刺激。

圖源：VR陀螺

據(jù)了解，在這種模擬中，可以生成空間音頻信號，其考慮到了三維環(huán)境中的各種聲波反射模型，以及聲波混響模型。這種空間音頻可以例如使用數(shù)字音頻工作站(DAW)軟件等生成，并可用于各種應(yīng)用，如房間規(guī)劃和/或音樂及建筑聲音模擬。

目前的空間音頻合成軟件通?？梢怨芾韺?shí)時(shí)模擬移動接收器周圍的移動聲源的計(jì)算負(fù)荷，然而，這些模擬往往是基于靜態(tài)混響的。在現(xiàn)實(shí)世界的場景中，聲波和反射性/阻礙性表面之間存在著顯著的相互作用，例如，在進(jìn)入或離開房間的時(shí)候會出現(xiàn)變化。此外，當(dāng)用戶（或虛擬用戶）聽著合成的音頻信號瀏覽真實(shí)世界（或虛擬）環(huán)境時(shí)，房間里的各種門戶（如門、窗、屋頂）可能動態(tài)地打開和/或關(guān)閉。房間的建筑或場景構(gòu)成中的每一個變化都會對房間里的聲波在任何給定瞬間的實(shí)時(shí)模擬方式產(chǎn)生重大影響。

圖源：蘋果

這樣一來，就需要改進(jìn)虛擬三維環(huán)境的實(shí)時(shí)物理精確聽覺化技術(shù)。這包括其中任何（或全部）的環(huán)境：聲源、聲音接收器和虛擬環(huán)境中的幾何/表面可能在聲源被模擬時(shí)產(chǎn)生的動態(tài)變化。這種技術(shù)也可應(yīng)用于增強(qiáng)現(xiàn)實(shí)（AR）場景，例如，將額外的聲音信息添加到聽眾的現(xiàn)實(shí)環(huán)境中，以準(zhǔn)確模擬聽眾現(xiàn)實(shí)環(huán)境中不存在的 “虛擬”聲源對象。

所以當(dāng)用戶不論走到虛擬空間中的哪個位置，都能聽到實(shí)時(shí)處理的遍布于空間內(nèi)擬真的聲音效果，這些聲音會根據(jù)空間內(nèi)的物體位置、甚至材質(zhì)，以及實(shí)時(shí)移動的人產(chǎn)生變化，從而使其更真實(shí)。

不過據(jù)了解，該技術(shù)當(dāng)空間中物體復(fù)雜、人很多的時(shí)候，其需要處理的聲音射線也將程指數(shù)級增長，從而對性能產(chǎn)生一定的負(fù)載。

但是，基于該技術(shù)，未來在虛擬環(huán)境中也能夠獲得更為真實(shí)的聲音效果。當(dāng)然與之相對應(yīng)的，可能未來虛擬場景內(nèi)的三維物體不僅需要定義光學(xué)的反射材質(zhì)，同時(shí)還需要定義聲學(xué)的材質(zhì)，如桌子、墻面、窗簾都需要逐一設(shè)定。

結(jié)語

由于篇幅有限，本文暫時(shí)只介紹硬件中的幾個較為顯性的技術(shù)部分，后續(xù)將針對場景和生態(tài)進(jìn)一步解讀。

蘋果對Vision Pro的官方定義——一臺革命性的空間計(jì)算設(shè)備，從技術(shù)上來看，蘋果在從視覺、聽覺、交互多方面來體現(xiàn)它的革命性。

*聲明：本文為VR陀螺原創(chuàng)，禁止一切形式轉(zhuǎn)載