目前，多模態數據融合主要有三種融合方式：前端融合(early-fusion)或數據水平融合(data-level fusion)、後端融合(late-fusion)或決策水平融合(decision-level fusion)和中間融合(intermediate-fusion)。
前端融合將多個獨立的數據集融合成一個單一的特徵向量，然後輸入到機器學習分類器中。由於多模態數據的前端融合往往無法充分利用多個模態數據間的互補性，且前端融合的原始數據通常包含大量的冗餘信息。因此，多模態前端融合方法常常與特徵提取方法相結合以剔除冗餘信息，如主成分分析（PCA）、最大相關最小冗餘算法（mRMR）、自動解碼器（Autoencoders）等。
後端融合則是將不同模態數據分別訓練好的分類器輸出打分(決策)進行融合。這樣做的好處是，融合模型的錯誤來自不同的分類器，而來自不同分類器的錯誤往往互不相關、互不影響，不會造成錯誤的進一步累加。常見的後端融合方式包括最大值融合(max-fusion)、平均值融合(averaged-fusion)、 貝葉斯規則融合(Bayes’rule based)以及集成學習(ensemble learning)等。其中集成學習作爲後端融合方式的典型代表，被廣泛應用於通信、計算機識別、語音識別等研究領域。
中間融合是指將不同的模態數據先轉化爲高維特徵表達，再於模型的中間層進行融合。以神經網絡爲例，中間融合首先利用神經網絡將原始數據轉化成高維 特徵表達，然後獲取不同模態數據在高維空間上的共性。中間融合方法的一大優勢是可以靈活的選擇融合的位置。
轉載來源：https://blog.csdn.net/qq_21420941/article/details/102732433
僅作學習使用，如有侵權請私聊，謝謝。