AVA & WAD 挑戰(zhàn)賽分別針對(duì)視頻語(yǔ)義和自動(dòng)駕駛問題而設(shè)，挑戰(zhàn)賽不僅給了曠視在 CVPR 2018 這樣的國(guó)際舞臺(tái)上秀“技術(shù)肌肉”的機(jī)會(huì)，同時(shí)彰顯了曠視研究院雄厚的人才儲(chǔ)備和過硬的技術(shù)儲(chǔ)備，也為曠視后續(xù)的產(chǎn)品創(chuàng)新和技術(shù)落地埋下了伏筆。
曠視首席科學(xué)家孫劍在其朋友圈不無(wú)幽默地寫到：“團(tuán)隊(duì)拿了大規(guī)模動(dòng)作識(shí)別 ActivityNet 挑戰(zhàn)賽、和基于 ApolloScape（目前最大規(guī)模公開數(shù)據(jù)）的自動(dòng)駕駛挑戰(zhàn)賽的兩個(gè) task 冠軍，我都不知道你們參賽了?！边@不僅反映了團(tuán)隊(duì)超強(qiáng)的實(shí)力和驚人的自驅(qū)力，還有研究院倍加推崇的“無(wú)知者無(wú)畏的精神”。下面是曠視研究院俞剛博士等人對(duì) AVA & WAD 挑戰(zhàn)賽所作的相關(guān)技術(shù)解讀，以及其對(duì)曠視產(chǎn)品體系所帶來(lái)的影響。
ActivityNet Large-Scale Activity Recognition Challenge （ActivityNet Challenge）是一項(xiàng)計(jì)算機(jī)視覺領(lǐng)域的大規(guī)模挑戰(zhàn)賽，自 2016 至今 ，已成功舉辦三屆。ActivityNet 挑戰(zhàn)賽聚焦于識(shí)別互聯(lián)網(wǎng)視頻門戶網(wǎng)站之中的日常及目標(biāo)導(dǎo)向的高級(jí)行為，比賽結(jié)果已在 CVPR 會(huì)上公布，并以 Workshop 形式展示。
ActivityNet Challenge 2018 頒獎(jiǎng)現(xiàn)場(chǎng)
ActivityNet Challenge 2018 包含 6 個(gè)獨(dú)立任務(wù)（Task），旨在進(jìn)一步拓展視頻語(yǔ)義理解的邊界，其中 Task B 時(shí)空行為定位（Spatio-temporal Action Localization）依據(jù) AVA 數(shù)據(jù)集，試圖評(píng)估算法對(duì)人類行為時(shí)空信息的定位能力，其中每個(gè)標(biāo)注的視頻片段連續(xù)且超過 15 分鐘，包含多個(gè)主體，每個(gè)主體有多個(gè)行為；Task B 分為 #1 (Vision Only) 以及 #2 (Full) 兩個(gè)子挑戰(zhàn)賽?？傮w來(lái)說，這一任務(wù)做大的難點(diǎn)是將動(dòng)作細(xì)化到了原子級(jí)別，需要在任務(wù)中判斷人類行為主體的位置，發(fā)生了什么動(dòng)作，又與其他物體/人發(fā)生了什么交互。
從結(jié)果看，曠視在這次挑戰(zhàn)賽中力壓群雄，分別以 0.21075 和 0.2099 的成績(jī)拿下 AVA 挑戰(zhàn)賽雙料第一名，谷歌 DeepMind 名列 #1 (Vision Only) 第二名。
曠視研究院檢測(cè)組負(fù)責(zé)人俞剛表示，該挑戰(zhàn)賽的算法把時(shí)空動(dòng)作行為的任務(wù)分解成了兩個(gè)子任務(wù)：1) 行人位置定位以及 2) 基于檢測(cè)位置的動(dòng)作分類。而制勝的訣竅是曠視在行人檢測(cè)子網(wǎng)絡(luò)中使用了最新的檢測(cè)技術(shù)，比如 Light Head R-CNN；而在動(dòng)作分類子網(wǎng)絡(luò)中，則結(jié)合最新的 3D 卷積特征, 比如 I3D, 以及傳統(tǒng)的 two-stream 網(wǎng)絡(luò)特征來(lái)優(yōu)化動(dòng)作分類能力。
AVA 挑戰(zhàn)賽奪冠在一定程度上表明，曠視研究院有著過硬的技術(shù)儲(chǔ)備和優(yōu)秀的人才梯隊(duì)，究其原因，這是由于曠視研究院向來(lái)重視通過參加挑戰(zhàn)賽不斷培養(yǎng)和提高實(shí)習(xí)生和研究員自主解決問題的能力。通過挑戰(zhàn)賽奪冠測(cè)試和篩選技術(shù)矩陣，強(qiáng)化優(yōu)秀技術(shù)庫(kù)存，使得曠視研究院內(nèi)部形成一個(gè)良性循環(huán)，而這正是曠視能夠成為全球五十大聰明公司和原創(chuàng)技術(shù)擔(dān)當(dāng)?shù)闹匾蛩刂弧?/span>
走好從人才到技術(shù)這一步，下一步是從技術(shù)到產(chǎn)品。從公司產(chǎn)品的角度講，行為時(shí)空信息的定位能力在視頻語(yǔ)義分析上有著非常大的意義，這一技術(shù)將從底層因素上推動(dòng)曠視產(chǎn)品體系的迭代和更新，更好地連接場(chǎng)景，提升用戶體驗(yàn)，提供真正的商業(yè)價(jià)值；未來(lái)這項(xiàng)技術(shù)將在智慧城市、智慧零售和智慧安防等領(lǐng)域發(fā)揮強(qiáng)大作用，實(shí)現(xiàn)曠視賦能億萬(wàn)攝像頭的愿景。
WAD（Workshop on Autonomous Driving）是一項(xiàng)由 CVPR 2018 workshop 主辦的自動(dòng)駕駛識(shí)別挑戰(zhàn)賽，包含駕駛區(qū)域分割、道路物體檢測(cè)、語(yǔ)義分割域適應(yīng)和實(shí)例視頻分割 4 個(gè) Task，旨在展示當(dāng)前的計(jì)算機(jī)視覺算法對(duì)外在環(huán)境的感知能力；其中的 Task 4 ——實(shí)例視頻分割（Instance-level Video Segmentation）要求參賽者在一幀之內(nèi)實(shí)現(xiàn)對(duì)移動(dòng)物體（比如汽車和行人）實(shí)例級(jí)別的分割，參與這項(xiàng)任務(wù)的意義在于挑戰(zhàn)賽為研究者們提供了一次真正獨(dú)特的機(jī)會(huì)，練手解決自動(dòng)駕駛領(lǐng)域內(nèi)極具價(jià)值且引人關(guān)注的問題。
基于由百度精良標(biāo)注的大規(guī)模數(shù)據(jù)集 ApolloScape，該挑戰(zhàn)賽目前已開放 14.7 萬(wàn)幀的像素級(jí)語(yǔ)義標(biāo)注圖像；另外值得一提的是，其大小是當(dāng)前同類型開源數(shù)據(jù)集的 10+ 倍，標(biāo)注精細(xì)度已經(jīng)超過同類型的 KITTI、Cityscapes 數(shù)據(jù)集，也超過 UC Berkley 最新發(fā)布的 BDD100K 數(shù)據(jù)集。在 WAD 挑戰(zhàn)賽中，曠視最終以 0.33986 的成績(jī)奪得第一名，超過第三名芯片巨頭英偉達(dá)將近 7 個(gè)點(diǎn)。
WAD 挑戰(zhàn)賽冠軍證書及簽名
俞剛認(rèn)為，從技術(shù)層面講，該挑戰(zhàn)賽的算法主要來(lái)自當(dāng)前檢測(cè)方面的積累，據(jù)其以優(yōu)化場(chǎng)景中的小物體。在挑戰(zhàn)中，團(tuán)隊(duì)重新設(shè)定了檢測(cè)算法的 anchor，使得對(duì)小物體的覆蓋率能有更大的提高, 同時(shí)還更新了一些訓(xùn)練策略，比如更高的顯存利用率和數(shù)據(jù)增強(qiáng)，提升小物體的召回率。
總體來(lái)看，團(tuán)隊(duì)本次參加自動(dòng)駕駛相關(guān)的挑戰(zhàn)賽達(dá)到了兩個(gè)主要目的：一是通過測(cè)試在不同應(yīng)用場(chǎng)景下的算法通用性，有力驗(yàn)證了曠視自身算法的能力；另一方面則是檢驗(yàn)了自身對(duì)算法的掌握性。而本次獲得雙料冠軍，也印證了曠視研究院在技術(shù)上的積累與對(duì)算法應(yīng)用于不同場(chǎng)景的良好掌控力。
從人才到技術(shù)，再到產(chǎn)品落地，這一邏輯同樣適用 WAD 挑戰(zhàn)賽。該挑戰(zhàn)賽所代表的實(shí)例分割技術(shù)是發(fā)展自動(dòng)駕駛不可或缺的核心組件，?盡管曠視目前并未涉足自動(dòng)駕駛領(lǐng)域，但已經(jīng)具備了國(guó)際領(lǐng)先的核心技術(shù)能力，為今后拓寬戰(zhàn)略版圖和完善產(chǎn)品體系打下了堅(jiān)實(shí)的基礎(chǔ)。
400-6700-866 | 
