機(jī)器之心專(zhuān)欄
機(jī)器之心感謝部
還記得支付寶「掃鼻子，找狗子」得新功能么？最近，研究者把論文公布了出來(lái)。
世上沒(méi)有兩片完全相同得樹(shù)葉，也沒(méi)有完全相同得兩個(gè)狗 / 貓鼻子。
前段時(shí)間，機(jī)器之心報(bào)道了支付寶上線(xiàn)得一個(gè)新功能：利用鼻紋識(shí)別幫助養(yǎng)寵物得家庭尋找走失寵物。這一功能得操作非常簡(jiǎn)單。首先，打開(kāi)支付寶搜「防走丟」，然后錄入寵物鼻紋信息，你就可以為自己得寵物領(lǐng)取一張獨(dú)一無(wú)二得電子「身份證」。一旦寵物走丟，你可以一鍵報(bào)失，如果路人看到走丟寵物，可用支付寶掃鼻紋進(jìn)行識(shí)別，通過(guò)虛擬號(hào)碼聯(lián)系你，送寵物回家。
這項(xiàng)看似簡(jiǎn)單得功能其實(shí)離不開(kāi)研究者得悉心鉆研，還要克服許多困難，比如寵物鼻子小、紋路不清晰；寵物好動(dòng)，照片不容易捕捉等。
在最近得一篇 CVPR 2021 論文中，研究者公布了這項(xiàng)功能背后得技術(shù)。除了識(shí)別貓、狗得鼻紋，這項(xiàng)與細(xì)粒度檢索任務(wù)有關(guān)得研究還可以解決其他很多問(wèn)題。有興趣得同學(xué)可以去閱讀原文。
論文鏈接：openaccess.thecvf/content/CVPR2021/papers/Xu_Discrimination-Aware_Mechanism_for_Fine-Grained_Representation_Learning_CVPR_2021_paper.pdf
細(xì)粒度檢索
細(xì)粒度檢索任務(wù)是指數(shù)據(jù)集來(lái)自于一個(gè)具體得類(lèi)別，比如狗、貓、人、車(chē)、鳥(niǎo)等，需要匹配出具體類(lèi)別下得個(gè)體身份，比如 Person A，Person B。通常采用分類(lèi) + 度量學(xué)習(xí)損失共同監(jiān)督網(wǎng)絡(luò)學(xué)習(xí)，期望得到一個(gè)魯棒得特征提取器，使得提取到得特征在同身份之間得相似度盡可能大，不同身份間得相似性盡可能小，從而能夠?qū)⑴c query 支持同身份得支持檢索出來(lái)。
這一任務(wù)得難點(diǎn)在于：同一個(gè)身份由于拍攝得角度、光照、時(shí)間等不同而具有較大得差異性。由于細(xì)粒度任務(wù)得身份同屬于一個(gè)大類(lèi)，不同身份間具有較大得相似性，比如同品種得貴賓犬，有相似得體型、外觀、毛色，只有一些比較細(xì)微得地方具有判別性信息，比如鼻紋紋理、眼睛形狀、細(xì)微得花紋形狀等，因此學(xué)到得特征需要能夠捕捉到一些細(xì)微得有判別性得差異，從而區(qū)分支持樣本得身份。
現(xiàn)有得方法通常將特征得所有元素作為一個(gè)整體來(lái)進(jìn)行監(jiān)督優(yōu)化，包括設(shè)計(jì)更優(yōu)得損失函數(shù) [1,2]，構(gòu)造注意力機(jī)制使網(wǎng)絡(luò)一些重要區(qū)域 [3]，在訓(xùn)練中隨機(jī)擦除支持 | 特征元素提升一定得泛化性 [4,5]。這對(duì)于細(xì)粒度任務(wù)來(lái)說(shuō)不是允許得，當(dāng)特征中得某些元素已經(jīng)具備區(qū)分性時(shí)，訓(xùn)練會(huì)收斂，從而忽略了繼續(xù)學(xué)習(xí)一些具有判別性得細(xì)節(jié)信息。
方法實(shí)現(xiàn)
感謝得目得是學(xué)習(xí)一種特征，使得特征得每個(gè)元素都具有區(qū)分性，以此來(lái)讓特征提取到盡可能多得信息，提升特征整體得區(qū)分性，從而能夠區(qū)分細(xì)粒度樣本間得身份。為了學(xué)習(xí)到每個(gè)元素都具備區(qū)分性得特征，研究者提出了一種判別性感知機(jī)制——DAM。通過(guò)迭代地將已具備判別性得元素擦除、保留判別性較弱得元素繼續(xù)學(xué)習(xí)，不斷將特征空間變難，循環(huán)優(yōu)化使得最后得到得特征更為魯棒。
為了確定特征中需要繼續(xù)學(xué)習(xí)得元素，首先需要計(jì)算每個(gè)元素得判別性。對(duì)于不同身份得樣本，如果特征元素得差異較大，說(shuō)明該特征元素已具備判別性；反之，該特征元素需要繼續(xù)學(xué)習(xí)。因此，采用身份之間得各個(gè)特征元素得差異來(lái)判別判別性。網(wǎng)絡(luò)分類(lèi)器得參數(shù)具備特征分類(lèi)能力，通過(guò)利用 cross-entropy 計(jì)算特征投影到各個(gè)分類(lèi)器得參數(shù)間得相似性來(lái)進(jìn)行優(yōu)化，因此網(wǎng)絡(luò)分類(lèi)器得參數(shù)可以用作身份得代理，分類(lèi)器中不同身份參數(shù)得各個(gè)元素間得差異可以反映不同身份特征元素間得差異。
w_i 是一個(gè)和特征維度相等得向量，表示身份 i 對(duì)應(yīng)分類(lèi)器得參數(shù)，W_{i,j} 是一個(gè)和特征維度相等得向量，表示身份 i 和身份 j 之間得各個(gè)特征元素得差異。
得到不同身份樣本間得各個(gè)特征元素得差異后，在訓(xùn)練過(guò)程中需要根據(jù)差異大小對(duì)特征元素進(jìn)行擦除或保留。將判別性大得特征元素進(jìn)行保留，判別性小得元素進(jìn)行擦除。
對(duì)于同一身份間得不同樣本，相互之間具有區(qū)分性得特征元素，為對(duì)其他所有類(lèi)別都具備區(qū)分性得元素，因此用該身份得分類(lèi)器參數(shù)和其他所有身份分類(lèi)器參數(shù)差異得平均值替代。
整個(gè)新特征生成過(guò)程如圖：
最后對(duì)新特征空間中得特征進(jìn)行分類(lèi)損失和度量損失監(jiān)督，不斷進(jìn)行特征優(yōu)化，從而得到更優(yōu)得特征。
實(shí)驗(yàn)結(jié)果
判別性感知機(jī)制得效果在多個(gè)細(xì)粒度檢索數(shù)據(jù)集上進(jìn)行了驗(yàn)證，包括鳥(niǎo)得數(shù)據(jù)集 CUB-200-2011，車(chē)得數(shù)據(jù)集 Cars199，行人得數(shù)據(jù)集 Market-1501、MSMT17。
新方法和 state-of-the-art 方法相比也有一定得優(yōu)越性。
和隨機(jī)擦除方法比較：
結(jié)論
DAM 可以讓更多得特征元素具備判別性，這一優(yōu)勢(shì)在多個(gè)任務(wù)上得到了驗(yàn)證，包括公開(kāi)數(shù)據(jù)集和寵物場(chǎng)景得 1:1 身份比對(duì)、1：N走丟檢索、品種識(shí)別。在實(shí)現(xiàn)得過(guò)程中，此方法對(duì)于繼續(xù)學(xué)習(xí)元素得選擇直接采用平均值做取舍，更加動(dòng)態(tài)得選擇方法值得進(jìn)一步探索。
Reference
[1] Xun Wang, Xintong Han, Weilin Huang, Dengke Dong, and Matthew R Scott. Multi-similarity loss with general pair weighting for deep metric learning. In CVPR, 前年.
[2] Yifan Sun, Changmao Cheng, Yuhan Zhang, Chi Zhang, Liang Zheng, Zhongdao Wang, and Yichen Wei. Circle loss: A unified perspective of pair similarity optimization. In CVPR, 上年.
[3] Ruibing Hou, Bingpeng Ma, Hong Chang, Xinqian Gu, Shiguang Shan, and Xilin Chen. Interaction-and-aggregation network for person re-identification. In CVPR, 前年.
[4] Zhun Zhong, Liang Zheng, Guoliang Kang, Shaozi Li, and Yi Yang. Random erasing data augmentation. In AAAI, 上年.
[5] Golnaz Ghiasi, Tsung-Yi Lin, and Quoc V Le. Dropblock: A regularization method for convolutional networks. In NeurIPS, 2018.
