去年這個(gè)時(shí)候，計(jì)算機(jī)視覺(jué)公司uSens推出了一款支持手部追蹤的立體攝像頭模型?，F(xiàn)在，uSens只需通過(guò)智能手機(jī)攝像頭即可實(shí)現(xiàn)相同的功能。

在日前舉行的世界增強(qiáng)現(xiàn)實(shí)大會(huì)（AWE）中，uSens推出了uSensAR Hand Tracking SDK的beta版本。這一工具可以幫助開(kāi)發(fā)者在iOS和安卓設(shè)備上為VR和AR移動(dòng)應(yīng)用整合手部追蹤和3D動(dòng)作識(shí)別。借助智能手機(jī)的RGB攝像頭，uSensAR Hand Tracking可以通過(guò)計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)來(lái)追蹤整只手的骨骼動(dòng)態(tài)，不僅僅只是一只手的指尖。

到目前為止，增強(qiáng)現(xiàn)實(shí)的主流普及主要集中在智能手機(jī)方面。因此，智能手機(jī)AR的任何主要界面創(chuàng)新都是一個(gè)重大發(fā)展。盡管蘋果和谷歌已經(jīng)通過(guò)ARKit和ARCore為移動(dòng)設(shè)備帶來(lái)了水平表面和垂直表面的無(wú)標(biāo)識(shí)追蹤，圖像識(shí)別，甚至是多用戶體驗(yàn)，但用戶與增強(qiáng)現(xiàn)實(shí)內(nèi)容的交互僅限于觸摸屏界面，不同于HoloLens和Meta 2。

uSens聯(lián)合創(chuàng)始人兼首席執(zhí)行官何安莉表示：“uSens很自豪能夠?qū)R推向下一個(gè)前沿，幫助開(kāi)發(fā)者為智能手機(jī)用戶創(chuàng)建更加引人入勝和娛樂(lè)性更強(qiáng)的增強(qiáng)現(xiàn)實(shí)體驗(yàn)，為他們帶來(lái)更加直觀的操作：只需用雙手和手指在空中滑動(dòng)即可。”

何安莉還說(shuō)道：“這為開(kāi)發(fā)者帶來(lái)了全新的可能性，使得他們能夠?yàn)橹髁魇鼙妱?chuàng)建真正獨(dú)一無(wú)二的體驗(yàn)。就像是觸摸屏幫助市場(chǎng)擁抱了智能手機(jī)，為用戶提供一種簡(jiǎn)單自然的方式來(lái)與AR/VR對(duì)象和環(huán)境進(jìn)行交互，這將在促進(jìn)消費(fèi)者普及方面發(fā)揮重要作用?！?/p>

在短短一年時(shí)間里，uSens為什么可以在沒(méi)有外部硬件的情況下實(shí)現(xiàn)同樣的追蹤水平呢？關(guān)鍵是機(jī)器學(xué)習(xí)。

uSens產(chǎn)品與運(yùn)營(yíng)副總裁王亞明表示：“自從我們?cè)谌ツ昴曛虚_(kāi)始直接面向手機(jī)市場(chǎng)以來(lái)，我們便一直致力于研發(fā)基于智能手機(jī)RGB攝像頭的手部追蹤。它與我們?yōu)榛谏疃葘W(xué)習(xí)的技術(shù)所研發(fā)的算法類似?，F(xiàn)在不同的是，我們訓(xùn)練算法來(lái)學(xué)習(xí)單個(gè)攝像頭輸入?！?/p>

“它可以根據(jù)我們的算法提供骨骼信息和關(guān)節(jié)信息，不過(guò)它的性能不如立體攝像頭或深度攝像頭，因?yàn)樗囊晥?chǎng)更小。但是，我們相信它為一系列的用例提供了足夠好的性能?！?/p>

王亞明表示，uSens已經(jīng)在與美圖進(jìn)行合作，將這項(xiàng)技術(shù)集成至他們的AR攝像頭效果。另外，uSens同時(shí)在與一家未透露名字的游戲開(kāi)發(fā)商合作，而王亞明暗示這家公司已經(jīng)在美國(guó)納斯達(dá)克上市，并且“在社交設(shè)定中發(fā)行了一款網(wǎng)絡(luò)游戲”。

盡管如此，雖然移動(dòng)AR已經(jīng)加速了消費(fèi)者對(duì)AR的采用，但觸摸屏仍然是用戶和內(nèi)容之間的障礙。在回顧當(dāng)前市場(chǎng)上最佳的移動(dòng)AR應(yīng)用程序時(shí)，我們可以馬上想象手部追蹤將能如何改善已有的優(yōu)秀體驗(yàn)。

當(dāng)然對(duì)于智能手機(jī)用力而言，用戶的一只手已經(jīng)要用來(lái)握持設(shè)備。不過(guò)，uSens技術(shù)同樣可以促進(jìn)智能眼鏡的更快速創(chuàng)新，特別是基于安卓的可穿戴設(shè)備。隨著精度和覆蓋范圍的提升，基于攝像頭的追蹤解決方案可以支持硬件廠商減掉專用深度傳感器的需要。

希望AR硬件行業(yè)能夠按照相關(guān)的思路進(jìn)行摸索，而這可能意味著廠商將能比想象中更快地為我們帶來(lái)優(yōu)秀的AR體驗(yàn)。