全部专题 / MULTIMODAL

多模态

图像、视频、语音与跨模态理解 · 8 篇资讯

学术研究10月2日

语言区分能力改善多语言语音模型的语言学习

多语言自监督语音模型能够受益于跨语言的信息共享,但在预训练数据总预算相同的情况下,其表现仍落后于单语言模型。我们表明,在预训练中增强模型区分语言的能力,能够在连续的语音和更高层次的语言指标上缩小这一差距,部分指标上甚至可以消除差距,同时保留大量跨语言共享。在受控的英语/法语 HuBERT 设置中,我们测试了两种增强语言区分能力的干预方法:一种辅助语言……

Apple Machine Learning Research