編 | 白鴿

智東西3月2日消息，據(jù)Tech Crunch報道，今日，谷歌為You Tube添加了一項新的AI功能。即通過構(gòu)建的卷積神經(jīng)網(wǎng)絡(luò)，讓用戶拍攝視頻時可自動更換視頻背景（摳圖）。

據(jù)悉，摳圖是一門應(yīng)用了幾十年的特效技術(shù)，不過做起來很費時間，也很復(fù)雜。如在拍電影時，導(dǎo)演會讓演員在綠幕前表演，之后使用計算機(jī)的數(shù)字特效更換綠屏。此前，因計算機(jī)在一秒內(nèi)至少需要計算30次，所以在移動設(shè)備上想要更換普通的RGB圖像，也不是很容易。如此可見想要更換視頻背景的難度。

谷歌工程師們則認(rèn)為這是一個挑戰(zhàn)，并為此建立了一個卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，使其通過數(shù)千張被標(biāo)記的圖片進(jìn)行訓(xùn)練。

通過訓(xùn)練，該神經(jīng)網(wǎng)絡(luò)可以分辨臉部特征，如眼睛、頭發(fā)、眼鏡、嘴等部位的特點，并將這些特征與其它東西區(qū)分開來。為了做到這一點，谷歌工程師對其進(jìn)行了一系列的優(yōu)化，從而降低了需要壓縮的數(shù)據(jù)量。此外，它還將先前的計算結(jié)果作為下一步的計算基礎(chǔ)，盡管它看起來有點作弊，但卻可以進(jìn)一步降低移動設(shè)備的負(fù)荷。

在研發(fā)該功能中，其具體的任務(wù)是制作一個二進(jìn)制蒙版，以計算從前景到背景進(jìn)行分離的每一幀視頻所用的時間。其中，實現(xiàn)計算跨幀蒙版的時間的一致性是關(guān)鍵點。目前的方法是利用LSTM或 GRU進(jìn)行計算，但對于移動設(shè)備來說，這樣操作是非常昂貴的。而谷歌研究人員則通過將之前計算掩碼作為之后計算掩碼的基礎(chǔ)進(jìn)行計算，從而保持時間上的一致性，如下圖所示：

（原始幀（左）在其三個顏色通道中分開，并與之前的蒙版連接，并被用作神經(jīng)網(wǎng)絡(luò)的輸入來預(yù)測當(dāng)前幀的蒙版（右））

而在視頻分割過程中，還要實現(xiàn)幀到幀的時間連續(xù)性，同時也要考慮到諸如在拍攝視頻過程中突然出現(xiàn)其他人物，以至于造成時間上不連續(xù)等問題。為訓(xùn)練其模型適應(yīng)這些問題，谷歌研究人員通過以下幾點對其進(jìn)行優(yōu)化：

1、清空之前的蒙版，訓(xùn)練神經(jīng)網(wǎng)絡(luò)在第一幀和第一個場景人物之間正常工作，并且模擬出了某人出現(xiàn)在相機(jī)中的場景。

2、將其轉(zhuǎn)換為真正的背景蒙版，通過轉(zhuǎn)換訓(xùn)練，可使神經(jīng)網(wǎng)絡(luò)將其調(diào)整到前一幀蒙版之前。

3、轉(zhuǎn)換圖像。該功能實現(xiàn)了在相機(jī)中進(jìn)行平滑流暢且快速的圖像轉(zhuǎn)化。

這樣做的結(jié)果就是其神經(jīng)網(wǎng)絡(luò)在移動設(shè)備上運行的速度非常快，如在iPhone 7上實現(xiàn)了運行速度100+ FBS，在Pixel 2上實現(xiàn)了40+ FBS，并且其更換背景的準(zhǔn)確性非常高。

刪除或替換背景工具對用戶來說很具有吸引力，所以該功能的推出對于很多人來說都是一個好消息。想要體驗該功能嗎？遺憾的是，它目前只能讓 YouTube Stories用戶使用該功能。

原文來自：Tech Crunch、Google Blog