疑問1:假設有10萬個類,特徵維度是512,權重矩陣 爲 (100K * 512),爲 (100K *100K) = 10G,用float保存,要40G,怎麼保存?
疑問2:一方面讓特徵靠近類中心,一方面把不同的類中心推開,能收斂嗎? 就象在contrastiveloss 中,如果同時使用正反例對子,一方面讓正例對子(來自相同類)不斷靠近,一方面讓反例對子(來自不同類)不斷遠離,收斂效果就不好,不如只用正例對子+softmaxloss好。
疑問1:假設有10萬個類,特徵維度是512,權重矩陣 爲 (100K * 512),爲 (100K *100K) = 10G,用float保存,要40G,怎麼保存?
疑問2:一方面讓特徵靠近類中心,一方面把不同的類中心推開,能收斂嗎? 就象在contrastiveloss 中,如果同時使用正反例對子,一方面讓正例對子(來自相同類)不斷靠近,一方面讓反例對子(來自不同類)不斷遠離,收斂效果就不好,不如只用正例對子+softmaxloss好。