在近期舉行的全球計算機視覺三大頂級會議之一 CVPR 2021 （Conference on Computer Vision and Pattern Recognition 2021，即“計算機視覺與模式識別會議”）上，曠視研究院表現(xiàn)出色，在多個細分賽道斬獲7項冠軍！
恭喜曠廠小伙伴再創(chuàng)佳績的同時，為了幫助大家更好地了解曠視在CVPR 2021挑戰(zhàn)賽中的精彩表現(xiàn)，我們對參賽論文進行了梳理，希望通過十分鐘的閱讀，能讓你對這些斬獲榮譽的研究成果可以一目了然。這些成果覆蓋了高動態(tài)范圍圖像、圖像超分辨率、圖像去模糊、自動駕駛等方向，也歡迎大家參與交流和分享。
作為圖像視頻修復(fù)和增強領(lǐng)域極具影響力的國際競賽， NTIRE（New Trends in Image Restoration and Enhancement, 即圖像恢復(fù)與增強的新趨勢）涵蓋了從圖像到視頻幾乎所有方向，一直備受工業(yè)界關(guān)注。在NTIRE 2021挑戰(zhàn)賽上，曠視研究院包攬了高動態(tài)范圍圖像、圖像超分辨率、圖像去模糊三大賽道的冠軍。
目前動態(tài)場景下的多幀HDR成像任務(wù)主要包含兩個難點：
1.如何解決相機抖動和前景目標(biāo)運動帶來的對齊問題；
2.如何在融合過程中有效恢復(fù)過曝/欠曝區(qū)域丟失的細節(jié)。
針對上述問題，曠視提出了一種新穎的雙分支網(wǎng)絡(luò)結(jié)構(gòu)ADNet，分別對原始LDR輸入和對應(yīng)gamma矯正之后的圖像進行處理。對于原始的LDR圖像，曠視提出使用空間注意力模塊來檢測過曝/欠曝和噪聲區(qū)域。對于對應(yīng)的gamma矯正圖像，曠視首次在該任務(wù)中提出使用可變形對齊模塊來對齊動態(tài)多幀。
關(guān)鍵詞：雙分支網(wǎng)絡(luò)結(jié)構(gòu)ADNet；去鬼影；少噪聲
論文地址：https://reurl.cc/vqa1XL
代碼地址：https://github.com/Pea-Shooter/ADNet
針對RAW域下的多幀模式圖像超分辨率問題，解決方案為使用特征金字塔增強多尺度特征，同時消除一定的噪聲影響。此方式下的多幀特征更加穩(wěn)定，再利用多尺度的可變性卷積模塊（Deformable Convolution）對所有特征進行對齊。
曠視設(shè)計了一種跨幀的非局部融合網(wǎng)絡(luò)（Cross Non-Local Fusion），使得每一幀圖像在融合時都將自身與參考幀的非局部空間關(guān)系信息考慮在內(nèi)，由此提高多幀融合效果。
圖像融合后的重建部分，曠視使用了考慮長范圍信息的超分重建網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)中每一個Block的輸入都是之前所有Block的輸出，可以避免在重建的過程中信息丟失的問題，提高超分的紋理效果。正體框架結(jié)構(gòu)如下：
關(guān)鍵詞：跨幀的非局部融合網(wǎng)絡(luò)；可變性卷積模塊
論文地址：https://reurl.cc/9rvXna
代碼地址：https://github.com/Algolzw/EBSR
歸一化（Normalization）技術(shù)在高層計算機視覺任務(wù)中（如圖像分類，目標(biāo)檢測等）有廣泛且成功的應(yīng)用，但是在底層視覺任務(wù)中，簡單的使用它會造成性能損失。
關(guān)鍵詞：圖像恢復(fù)；半實例歸一化
論文地址：https://arxiv.org/abs/2105.06086
代碼地址：https://github.com/megvii-model/HINet
關(guān)鍵詞：自動駕駛；2D目標(biāo)檢測方案
比賽網(wǎng)站：https://eval.ai/web/challenges/challenge-page/800/overview
圖像特征匹配涉及圖像檢索，重定位等諸多富有前景的下游任務(wù)。然而，來自視角、尺度、光照等方面的復(fù)雜變換以及遮擋、相機渲染等因素的存在，使得該領(lǐng)域相當(dāng)具有挑戰(zhàn)性。
關(guān)鍵詞：多尺度融合；多角度融合；模型集成；自適應(yīng)RANSAC
比賽網(wǎng)站：https://www.cs.ubc.ca/research/image-matching-challenge/current/
關(guān)鍵詞：模型集成；最小匹配置信度策略
比賽網(wǎng)站：https://simlocmatch.com/
研究創(chuàng)新不止，技術(shù)更迭不?。?/strong>
再次給曠視研究院獲獎同學(xué)點贊
同時也期待更多優(yōu)秀的小伙伴加入我們
用人工智能造福大眾！
在近期舉行的全球計算機視覺三大頂級會議之一 CVPR 2021 （Conference on Computer Vision and Pattern Recognition 2021，即“計算機視覺與模式識別會議”）上，曠視研究院表現(xiàn)出色，在多個細分賽道斬獲7項冠軍！
恭喜曠廠小伙伴再創(chuàng)佳績的同時，為了幫助大家更好地了解曠視在CVPR 2021挑戰(zhàn)賽中的精彩表現(xiàn)，我們對參賽論文進行了梳理，希望通過十分鐘的閱讀，能讓你對這些斬獲榮譽的研究成果可以一目了然。這些成果覆蓋了高動態(tài)范圍圖像、圖像超分辨率、圖像去模糊、自動駕駛等方向，也歡迎大家參與交流和分享。
作為圖像視頻修復(fù)和增強領(lǐng)域極具影響力的國際競賽， NTIRE（New Trends in Image Restoration and Enhancement, 即圖像恢復(fù)與增強的新趨勢）涵蓋了從圖像到視頻幾乎所有方向，一直備受工業(yè)界關(guān)注。在NTIRE 2021挑戰(zhàn)賽上，曠視研究院包攬了高動態(tài)范圍圖像、圖像超分辨率、圖像去模糊三大賽道的冠軍。
目前動態(tài)場景下的多幀HDR成像任務(wù)主要包含兩個難點：
1.如何解決相機抖動和前景目標(biāo)運動帶來的對齊問題；
2.如何在融合過程中有效恢復(fù)過曝/欠曝區(qū)域丟失的細節(jié)。
針對上述問題，曠視提出了一種新穎的雙分支網(wǎng)絡(luò)結(jié)構(gòu)ADNet，分別對原始LDR輸入和對應(yīng)gamma矯正之后的圖像進行處理。對于原始的LDR圖像，曠視提出使用空間注意力模塊來檢測過曝/欠曝和噪聲區(qū)域。對于對應(yīng)的gamma矯正圖像，曠視首次在該任務(wù)中提出使用可變形對齊模塊來對齊動態(tài)多幀。
關(guān)鍵詞：雙分支網(wǎng)絡(luò)結(jié)構(gòu)ADNet；去鬼影；少噪聲
論文地址：https://reurl.cc/vqa1XL
代碼地址：https://github.com/Pea-Shooter/ADNet
針對RAW域下的多幀模式圖像超分辨率問題，解決方案為使用特征金字塔增強多尺度特征，同時消除一定的噪聲影響。此方式下的多幀特征更加穩(wěn)定，再利用多尺度的可變性卷積模塊（Deformable Convolution）對所有特征進行對齊。
曠視設(shè)計了一種跨幀的非局部融合網(wǎng)絡(luò)（Cross Non-Local Fusion），使得每一幀圖像在融合時都將自身與參考幀的非局部空間關(guān)系信息考慮在內(nèi)，由此提高多幀融合效果。
圖像融合后的重建部分，曠視使用了考慮長范圍信息的超分重建網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)中每一個Block的輸入都是之前所有Block的輸出，可以避免在重建的過程中信息丟失的問題，提高超分的紋理效果。正體框架結(jié)構(gòu)如下：
關(guān)鍵詞：跨幀的非局部融合網(wǎng)絡(luò)；可變性卷積模塊
論文地址：https://reurl.cc/9rvXna
代碼地址：https://github.com/Algolzw/EBSR
歸一化（Normalization）技術(shù)在高層計算機視覺任務(wù)中（如圖像分類，目標(biāo)檢測等）有廣泛且成功的應(yīng)用，但是在底層視覺任務(wù)中，簡單的使用它會造成性能損失。
關(guān)鍵詞：圖像恢復(fù)；半實例歸一化
論文地址：https://arxiv.org/abs/2105.06086
代碼地址：https://github.com/megvii-model/HINet
關(guān)鍵詞：自動駕駛；2D目標(biāo)檢測方案
比賽網(wǎng)站：https://eval.ai/web/challenges/challenge-page/800/overview
圖像特征匹配涉及圖像檢索，重定位等諸多富有前景的下游任務(wù)。然而，來自視角、尺度、光照等方面的復(fù)雜變換以及遮擋、相機渲染等因素的存在，使得該領(lǐng)域相當(dāng)具有挑戰(zhàn)性。
關(guān)鍵詞：多尺度融合；多角度融合；模型集成；自適應(yīng)RANSAC
比賽網(wǎng)站：https://www.cs.ubc.ca/research/image-matching-challenge/current/
關(guān)鍵詞：模型集成；最小匹配置信度策略
比賽網(wǎng)站：https://simlocmatch.com/
研究創(chuàng)新不止，技術(shù)更迭不?。?/strong>
再次給曠視研究院獲獎同學(xué)點贊
同時也期待更多優(yōu)秀的小伙伴加入我們
用人工智能造福大眾！
曠視MEGVII
曠視城市大腦
曠視企業(yè)服務(wù)
曠視機器人
曠視Face++
曠視研究院
曠視招聘
曠視視頻號
曠視知乎
曠視微博
