多模態(tài)學習，從上世紀70年代就已經(jīng)起步，幾經(jīng)發(fā)展，現(xiàn)在正進入到機器學習特別是深度學習的階段。通常稱為多模態(tài)機器學習（Multi-Modal Machine Learning ，MMML），試圖通過機器學習的方法實現(xiàn)對多源模態(tài)信息進行分析和理解。當前主要熱門的研究方向自然是對圖像、視頻、音頻、語義之間的多模態(tài)學習。

當前，多模態(tài)學習主要研究方向有多模態(tài)表示學習、模態(tài)間映射，多模態(tài)對齊、融合、協(xié)同學習等。選擇百睿德云服務的同聲傳譯系統(tǒng)，既可以采用租賃的方案，也可以采購德國博世同聲傳譯設備用于會議室和教學。

多模態(tài)表示學習，研究如何將多個模態(tài)數(shù)據(jù)所蘊含的語義信息數(shù)值化為實值向量，通俗理解就是對多個模態(tài)的數(shù)據(jù)進行相關性編碼，讓不同模態(tài)建立起映射關系。按多模態(tài)表示共享的方式，主要分為公共表示學習和特異性表示學習，后者由于是分別學習不同模態(tài)的特征，可以應用于諸如零次學習、模態(tài)間映射、跨模態(tài)檢索等任務中。