當(dāng)?shù)貢r(shí)間6月16日，一年一度的“計(jì)算機(jī)視覺(jué)與模式識(shí)別會(huì)議”（Conference on Computer Vision and Pattern Recognition 2019，CVPR 2019）在美國(guó)長(zhǎng)灘拉開(kāi)帷幕。作為計(jì)算機(jī)視覺(jué)領(lǐng)域的三大頂會(huì)之一，CVPR 2019 吸引全球超過(guò)9200位頂尖專(zhuān)家、學(xué)者以及產(chǎn)業(yè)界人士，共同推進(jìn)計(jì)算機(jī)視覺(jué)技術(shù)的發(fā)展與落地。值得一提的是，在本次大會(huì)的 NTIRE 2019 挑戰(zhàn)賽上，曠視研究院力壓群雄，一路過(guò)關(guān)斬將，最終奪得了 NTIRE 2019 真實(shí)圖像降噪比賽 “Raw-RGB” 組的世界冠軍。

NTIRE（New Trends in Image Restoration and Enhancement）挑戰(zhàn)賽致力于恢復(fù)與增強(qiáng)圖像質(zhì)量，到目前為止，已連續(xù)舉辦了3年。今年，NTIRE 挑戰(zhàn)賽下設(shè)11項(xiàng)比賽，就曠視研究院參賽的“真實(shí)圖像降噪（Real Image Denosing Challenge）”而言，全球共有216位選手、12支隊(duì)伍參加。

圖像降噪一直是計(jì)算機(jī)視覺(jué)中相當(dāng)重要且研究甚多的領(lǐng)域，其首要的目標(biāo)是去除或糾正圖像上的噪聲信息，這既能滿(mǎn)足美觀(guān)，同時(shí)也有助于基于這些圖像開(kāi)展進(jìn)一步的視覺(jué)研究。一直以來(lái)，研究者在該問(wèn)題上的工作主要依賴(lài)合成的噪聲圖像。據(jù)主辦方稱(chēng)，此次真實(shí)圖像降噪比賽的一大目的即在真實(shí)而非合成的圖像上評(píng)估圖像降噪器。

NTIRE 2019 真實(shí)圖像降噪比賽基于最近新提出的智能手機(jī)圖像降噪數(shù)據(jù)集（Smartphone Image Denoising Dataset, SIDD），它由很多真實(shí)的噪聲圖像及其相應(yīng)的 ground truth 組成，且每幅圖像都有以原始傳感器數(shù)據(jù)（raw）和標(biāo)準(zhǔn) RBG（sRGB）格式存儲(chǔ)的兩個(gè)版本。因此，該項(xiàng)比賽分為了兩項(xiàng)子賽，分別針對(duì) raw 與 sRGB 圖像進(jìn)行去噪。曠視研究院參戰(zhàn)前者，一舉奪冠。

NTIRE 主辦方 Radu Timofte 與曠視研究院奪冠團(tuán)隊(duì)部分成員（左起）王玨、黃海斌，巫奇豪

解密冠軍算法

圖像降噪一直是曠視研究院“手機(jī)攝影超畫(huà)質(zhì)”的技術(shù)儲(chǔ)備項(xiàng)目，自第一版原型誕生以后，就在不斷迭代。其中，針對(duì)原始傳感器數(shù)據(jù)（raw）的圖像降噪更是整個(gè)項(xiàng)目的基礎(chǔ)技術(shù)。

就學(xué)術(shù)界來(lái)看，對(duì)圖像降噪的關(guān)注點(diǎn)一直以 RGB 圖像為主，對(duì) raw 圖（尤其是手機(jī)上）少有關(guān)注。人們不了解如何對(duì)圖像進(jìn)行前處理、后處理，也不了解在降噪過(guò)程中的具體注意事項(xiàng)，導(dǎo)致往往無(wú)法發(fā)揮數(shù)據(jù)百分百的力量。基于上述背景，曠視研究院希望借此機(jī)會(huì)分享在 raw 圖像降噪上的心得，同時(shí)驗(yàn)證團(tuán)隊(duì)實(shí)力，進(jìn)行進(jìn)一步鍛煉。

這次比賽中，曠視研究院提出了針對(duì) raw 圖像的基于 U-Net 框架的“拜爾陣列歸一化與保列增廣”方法。盡管不同輸入圖像間的數(shù)據(jù)格式存在差異，但是，為保持網(wǎng)絡(luò)輸入一致性團(tuán)隊(duì)精心設(shè)計(jì)了一種數(shù)據(jù)預(yù)處理方法，使得相同的網(wǎng)絡(luò)工作應(yīng)用到具有不同拜耳模式的輸入上，從而在保證性能的前提下用更大的圖像集合訓(xùn)練網(wǎng)絡(luò)。

“拜爾陣列歸一化與保列增廣”方法圖示

此外，團(tuán)隊(duì)還提出了適用于 raw 圖像的數(shù)據(jù)增廣方法。這些優(yōu)勢(shì)可以幫助網(wǎng)絡(luò)獲得更好的泛化能力（且沒(méi)有額外的運(yùn)行時(shí)）。不僅如此，曠視研究人員還發(fā)現(xiàn)了主辦方提供的第一版數(shù)據(jù)集里驗(yàn)證集的錯(cuò)誤。經(jīng)分析，這很可能是由于人們對(duì) raw 圖處理的知識(shí)相對(duì)不足所造成的。

由上述可知，學(xué)界對(duì) raw 圖展開(kāi)的圖像降噪研究還處于剛剛起步階段，因此，這個(gè)小插曲從某種層面也說(shuō)明了對(duì) raw 圖像降噪研究的重要意義。對(duì)于錯(cuò)誤的指出，主辦方及時(shí)進(jìn)行了更正，并向曠視研究院參賽團(tuán)隊(duì)發(fā)來(lái)了感謝信。

打造夜拍超畫(huà)質(zhì)神器

本次冠軍算法已成功落地于 OPPO Reno 10 倍變焦版。OPPO Reno 10 倍變焦版搭載了基于曠視 MEGVII 超畫(huà)質(zhì)技術(shù)研發(fā)的“超清夜景2.0”功能，能夠?yàn)橛脩?hù)提供非同凡響的夜拍體驗(yàn)。這也是曠視超畫(huà)質(zhì)技術(shù)首次運(yùn)用在大規(guī)模量產(chǎn)機(jī)型上。

需要強(qiáng)調(diào)的是，依托在本文提到的圖像降噪算法，曠視超畫(huà)質(zhì)技術(shù)在智能降噪的同時(shí)，能夠更好地保留畫(huà)面質(zhì)感，大幅度優(yōu)化拍攝和影像處理的時(shí)間，顯著提升用戶(hù)在夜晚和低光照環(huán)境下的拍攝體驗(yàn)。

復(fù)合多幀降噪和 HDR 技術(shù)作為曠視超畫(huà)質(zhì)技術(shù)的其中一項(xiàng)核心功能，能夠提升動(dòng)態(tài)范圍，有效提高手機(jī)夜間拍照的成功幾率，并讓相機(jī)具備優(yōu)秀的抗鬼影能力。

多幀降噪是指相機(jī)連拍多張照片合成一張照片，可減少高 ISO 感光度帶來(lái)的噪點(diǎn)，使畫(huà)質(zhì)更純凈。如果用傳統(tǒng)的多幀降噪技術(shù)，在夜間或暗光環(huán)境下拍攝運(yùn)動(dòng)物體，如街上的行人或者車(chē)流時(shí)，成像過(guò)程中就可能會(huì)形成長(zhǎng)長(zhǎng)的拖影，也就是攝影愛(ài)好者俗稱(chēng)的“鬼影”。

右圖為曠視超畫(huà)質(zhì)技術(shù)拍攝的樣片，可以看出“鬼影”現(xiàn)象較左圖有大幅降低

曠視超畫(huà)質(zhì)技術(shù)則把整個(gè)拍照曝光時(shí)間控制在300毫秒左右，算法處理時(shí)間則控制在1秒左右，也就意味著用戶(hù)能幾乎能在按下快門(mén)的同時(shí)，看到自己所拍攝的超美夜景照，實(shí)現(xiàn)所見(jiàn)即所得。曝光時(shí)間越短，拍出清晰照片的幾率也就越高，因此曠視超畫(huà)質(zhì)技術(shù)特殊的曝光策略，也讓“鬼影”出現(xiàn)的幾率大為降低。

右圖為曠視超畫(huà)質(zhì)技術(shù)拍攝的樣片，夜拍效果的亮度和細(xì)節(jié)明顯增加

在夜景模式下，傳統(tǒng)的多幀降噪帶來(lái)的細(xì)節(jié)損失難以避免。而在同樣硬件配置的情況下，曠視超畫(huà)質(zhì)技術(shù)則不會(huì)損失細(xì)節(jié)，甚至在有些場(chǎng)景下還會(huì)對(duì)細(xì)節(jié)進(jìn)行增強(qiáng)。尤其是在夜景光源處理方面，曠視超畫(huà)質(zhì)技術(shù)用不同的曝光策略和曝光組合，能夠有效提升動(dòng)態(tài)范圍，取得較好的高光壓制效果。

             上方圖像為曠視超畫(huà)質(zhì)技術(shù)拍攝的樣片，高光壓制效果較上圖更為自然

后記

秉承“以非凡科技，為客戶(hù)和社會(huì)持續(xù)創(chuàng)造最大價(jià)值”的企業(yè)使命，和“構(gòu)建驅(qū)動(dòng)百億臺(tái)智能設(shè)備的物聯(lián)網(wǎng)生態(tài)系統(tǒng)”的宏偉愿景，曠視正在圍繞核心 AI 技術(shù)能力，連接更多的 IoT 設(shè)備，與生態(tài)伙伴一起服務(wù)于數(shù)字化建設(shè)，用軟硬結(jié)合的解決方案為客戶(hù)提供閉環(huán)的商業(yè)價(jià)值，成為行業(yè)智能物聯(lián)方案專(zhuān)家。

深耕技術(shù)基因是實(shí)現(xiàn)上述目標(biāo)的必要條件，自曠視誕生以來(lái)便始終滲透在公司發(fā)展的方方面面。因此，作為技術(shù)源動(dòng)力，曠視研究院正在從底層推動(dòng)著公司不斷前進(jìn)的步伐。

從研究院自身角度看，以最尖端的科技水平助力公司實(shí)現(xiàn)對(duì)客戶(hù)乃至人類(lèi)社會(huì)的價(jià)值，讓世界更加美好是立足之本。為此，才有“持續(xù)創(chuàng)新，拓展認(rèn)知邊界；非凡科技，實(shí)現(xiàn)產(chǎn)品價(jià)值”的研究院信條。