Echo

2013年剛從清華大學(xué)物理系畢業(yè)的李誠(chéng)，如今在清華大學(xué)東門外創(chuàng)辦了一家公司，從事計(jì)算機(jī)視覺(jué)領(lǐng)域的研究。出于對(duì)人工智能的興趣，學(xué)物理的李誠(chéng)很早就開始研究機(jī)器學(xué)習(xí)（人工智能中改善計(jì)算機(jī)算法的學(xué)科）的相關(guān)內(nèi)容，還參加過(guò)學(xué)校機(jī)器人足球隊(duì)的研究團(tuán)隊(duì)。不過(guò)要說(shuō)起計(jì)算機(jī)視覺(jué)研究領(lǐng)域的研究，還要從他大三的時(shí)候說(shuō)起。

第一人稱手部識(shí)別

大三的暑假，李誠(chéng)參加了學(xué)校的對(duì)外交流學(xué)習(xí)項(xiàng)目，前往卡內(nèi)基梅隆大學(xué)（CMU）進(jìn)行交流學(xué)習(xí)。在導(dǎo)師的介紹下，李誠(chéng)認(rèn)識(shí)了一位美籍日裔博士后Kris，當(dāng)時(shí)Kris正在研究第一人稱的物體識(shí)別。

第一人稱物體識(shí)別也是“可穿戴設(shè)備”的一個(gè)重要的技術(shù)支持。一般情況下，“可穿戴設(shè)備”都會(huì)配備一個(gè)第一人稱攝像頭，也就是讓用戶在頭部佩戴一個(gè)與其視線一致的攝像頭，它不僅有攝像攝影的功能，還能承擔(dān)動(dòng)作指令的作用。

“第一人稱手部識(shí)別！”聽說(shuō)這個(gè)課題，李誠(chéng)馬上就來(lái)勁兒了，“我在大一參加Robocup（機(jī)器人世界杯足球錦標(biāo)賽）的時(shí)候就是負(fù)責(zé)視覺(jué)的，比如讓機(jī)器人認(rèn)知對(duì)方機(jī)器人、球門等物體，再完成踢球的動(dòng)作?！崩钫\(chéng)興奮地向Kris講述著自己的研究經(jīng)歷。由于第一人稱手部識(shí)別是Kris研究中相對(duì)比較初級(jí)的內(nèi)容，Kris本就有意找一位本科生來(lái)接手，他立刻相中了李誠(chéng)。

興致勃勃地研究起第一人稱手部識(shí)別的李誠(chéng)，很快就發(fā)現(xiàn)了問(wèn)題?！皞鹘y(tǒng)的手部識(shí)別主要依靠顏色信息，只能在光線較好或者環(huán)境與手部顏色區(qū)別較大的情況下比較準(zhǔn)確。”如果光線太亮或太暗，手部反射的光顏色就不一樣，攝像頭就會(huì)無(wú)法識(shí)別；而當(dāng)背景顏色與手部顏色非常接近時(shí)，攝像頭就會(huì)將畫面中的相同顏色都識(shí)別在內(nèi)，同樣不能準(zhǔn)確地進(jìn)行識(shí)別。因此，如何解決在多變的外部環(huán)境下，使攝像頭準(zhǔn)確且高效地進(jìn)行手部識(shí)別，就成了最大的技術(shù)難點(diǎn)。要在如今的基礎(chǔ)上實(shí)現(xiàn)突破，就必須要改變?cè)瓉?lái)的計(jì)算機(jī)運(yùn)算方法，可是什么樣的算法才最合適呢？

一天，資料中的一句話讓李誠(chéng)眼前一亮：“可穿戴設(shè)備的立足點(diǎn)，應(yīng)該是大數(shù)據(jù)與云計(jì)算的普及，設(shè)備本身只是個(gè)呈現(xiàn)終端?！薄按髷?shù)據(jù)和云計(jì)算！”李誠(chéng)來(lái)了靈感。他想到之前在星火班和同學(xué)討論過(guò)的“模型推薦”的概念?！霸谑植孔R(shí)別的范疇內(nèi)，就是指建立一個(gè)擁有各種環(huán)境下手部圖片的模型庫(kù)，讓系統(tǒng)根據(jù)當(dāng)前使用環(huán)境選出對(duì)應(yīng)的模型，來(lái)識(shí)別出這是手?！边@樣，機(jī)器的手部識(shí)別準(zhǔn)確度就能大大提升。

“僵尸”數(shù)據(jù)庫(kù)

選定了方向，接下來(lái)的任務(wù)，就是建立一個(gè)龐大的“模型數(shù)據(jù)庫(kù)”。李誠(chéng)決定從建立不同光線和環(huán)境下的各種模型做起。李誠(chéng)的數(shù)據(jù)采集方式讓人覺(jué)得特別“神經(jīng)病”?！澳莻€(gè)時(shí)候我就把攝像頭戴在頭上，然后把兩手放在身前，繞著實(shí)驗(yàn)室里里外外地走來(lái)走去，目的就是為了收集不同的光照和環(huán)境下的手部模型信息。”雖然這樣的舉動(dòng)在同樣研究計(jì)算機(jī)視覺(jué)的同學(xué)們看來(lái)已經(jīng)司空見(jiàn)慣，但李誠(chéng)的一位印度的同學(xué)Kumur還是覺(jué)得不可思議，“他說(shuō)我走起來(lái)很像僵尸?！崩钫\(chéng)覺(jué)得這個(gè)聽起來(lái)有點(diǎn)嚇人的形容很有意思，決定干脆將這個(gè)數(shù)據(jù)集叫做“僵尸”。就這樣，李誠(chéng)用第一視覺(jué)攝像頭拍下了自己手部的視頻，然后再將視頻導(dǎo)出，對(duì)每段視頻每隔幾幀就用Grabcut（圖像分割算法）將圖片上的手部范圍內(nèi)的像素標(biāo)志出來(lái)，作為模型數(shù)據(jù)庫(kù)的數(shù)據(jù)。最終，李誠(chéng)對(duì)將近2，000張圖片進(jìn)行了標(biāo)志，全部像素相加有200，000，000多個(gè)，覆蓋了幾乎所有室內(nèi)室外的光照環(huán)境下的手部識(shí)別數(shù)據(jù)。

與其他手部識(shí)別模型不同的是，李誠(chéng)放棄使用傳統(tǒng)的用白布做背景來(lái)拍攝手部視頻，而是選用了木板、紙箱等與膚色顏色相近的物品作為背景。“雖然用白布作為背景，手部的顏色比較突出，容易被機(jī)器識(shí)別，但第一視覺(jué)手部識(shí)別應(yīng)用的范圍絕不僅僅在白色背景下。雖然在標(biāo)識(shí)的時(shí)候會(huì)比較麻煩，但是在機(jī)器學(xué)習(xí)的時(shí)候會(huì)更加全面、準(zhǔn)確，應(yīng)用范圍也會(huì)更廣?！?/p>

建立模型數(shù)據(jù)庫(kù)的最終目的是讓機(jī)器準(zhǔn)確地辨認(rèn)，所以對(duì)機(jī)器進(jìn)行“培訓(xùn)”也必不可少。拍攝視頻收集數(shù)據(jù)的時(shí)間只有幾天，但是“培訓(xùn)”的時(shí)間卻花了很長(zhǎng)。李誠(chéng)開始馬不停蹄地將這些收集到的數(shù)據(jù)編寫成代碼，在計(jì)算機(jī)上進(jìn)行調(diào)試，從而讓機(jī)器進(jìn)行學(xué)會(huì)認(rèn)手。“機(jī)器通過(guò)訓(xùn)練后的效果就是讓攝像頭在拍攝到一個(gè)畫面之后，能夠自動(dòng)從數(shù)據(jù)庫(kù)里找出最匹配最合適的模型，認(rèn)出在各種環(huán)境下的手?！?/p>

龐大的工作量需要耗費(fèi)大量的時(shí)間和精力，大三暑假的兩個(gè)半月是遠(yuǎn)遠(yuǎn)不夠的。于是李誠(chéng)在大四的寒假又一次來(lái)到了卡內(nèi)基梅隆大學(xué)（CMU）繼續(xù)他的數(shù)據(jù)庫(kù)建立工作，前后總共歷時(shí)6個(gè)月，終于完成了他“僵尸”數(shù)據(jù)庫(kù)的籌建工作。

濾波算法精益求精

“第一人稱攝像機(jī)是戴在頭上的，所以在使用過(guò)程中，必然會(huì)存在移動(dòng)過(guò)快的情況，攝像機(jī)進(jìn)行識(shí)別時(shí)就會(huì)有困難?！痹缭诶钫\(chéng)在拍攝自己的手部視頻時(shí)，就發(fā)現(xiàn)了這個(gè)問(wèn)題。由于行走過(guò)程中手部會(huì)發(fā)生移動(dòng)，這時(shí)拍攝到的畫面就會(huì)出現(xiàn)閃爍或模糊。

在提高手部識(shí)別的準(zhǔn)確度的過(guò)程中，李誠(chéng)并沒(méi)有忽視這個(gè)細(xì)節(jié)?！笆衷趫D像上是個(gè)大塊的連通的物體，于是我想到了用時(shí)空馬爾科夫場(chǎng)的濾波算法，將不太連續(xù)的輸出結(jié)果過(guò)濾成比較平滑的輸出結(jié)果?！崩眠@個(gè)算法，李誠(chéng)將圖片中的像素之間的關(guān)系進(jìn)行了設(shè)定，推算出了相鄰的像素之間的關(guān)系?！皩⒁粡垐D片想象成一幅巨大的拼圖，每個(gè)像素都是一個(gè)小方塊，手部范圍內(nèi)的小方塊占據(jù)了拼圖很大的比例，那么當(dāng)一個(gè)小方塊是屬于手部范圍的時(shí)候，與它相鄰的另一個(gè)小方塊屬于手部范圍的可能性就很大！”李誠(chéng)用一個(gè)形象的方法，解釋了馬爾科夫場(chǎng)在他的研究中的原理。

李誠(chéng)的研究中不乏對(duì)行業(yè)既有研究的借鑒和引用，時(shí)空馬爾科夫場(chǎng)的概念，就是專業(yè)研究中常用的一種計(jì)算機(jī)算法?！拔抑徊贿^(guò)是站在了巨人的肩膀上，但最重要的是要找到巨人在哪兒。”這就需要平時(shí)的不斷積累和對(duì)研究?jī)?nèi)容的興趣和熱忱。

雖然這個(gè)簡(jiǎn)單的優(yōu)化并不是整個(gè)項(xiàng)目中最大的亮點(diǎn)，但時(shí)空馬爾科夫場(chǎng)濾波算法在實(shí)際應(yīng)用中的效果卻不容小覷。畫面閃爍程度降低了，也變得更加平滑清晰，這更保證了第一人稱手部識(shí)別的準(zhǔn)確度。最終，李誠(chéng)開發(fā)的第一人稱手部檢測(cè)準(zhǔn)確度比傳統(tǒng)方法提高了10%～15%。“領(lǐng)先于喬治亞理工、加州大學(xué)歐文分校在內(nèi)的美國(guó)其他大學(xué)提出的幾種主流模型！”

李誠(chéng)的成果很快得到了同行專家的認(rèn)可。很快，李誠(chéng)以第一作者的身份分別在兩個(gè)計(jì)算機(jī)視覺(jué)領(lǐng)域的頂尖學(xué)術(shù)會(huì)議CVPR2013（IEEE Conference on Computer Vision and Pattern Recognition即IEEE計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議）和ICCV2013（IEEE International Conference on Computer Vision即IEEE計(jì)算機(jī)視覺(jué)國(guó)際會(huì)議）上發(fā)表論文2篇，同時(shí)還捧回了2013年全國(guó)挑戰(zhàn)杯的特等獎(jiǎng)獎(jiǎng)杯。目前，這項(xiàng)目的相關(guān)代碼、數(shù)據(jù)集已加到谷歌公司的手部檢測(cè)項(xiàng)目，并且即將加入目前應(yīng)用最廣泛的機(jī)器視覺(jué)開源庫(kù)中。

從愛(ài)好者到專家，李誠(chéng)不僅在研究中獲得了突破，更用自己的實(shí)際行動(dòng)推動(dòng)了機(jī)器視覺(jué)研究的進(jìn)程。