MEXMA

MEXMA是由Meta AI开发的一种创新性的预训练跨语言句子编码器，通过融合句子级和词语级的目标来提升句子表示的质量。在训练过程中，MEXMA利用一种语言的句子表示预测另一种语言中被遮蔽的词语，从而实现对编码器中句子表示和词语表示的直接更新。该模型在多个任务上表现优异，包括句子分类、文本挖掘和语义文本相似度评估，其性能优于现有的一些跨语言句子编码器，如LaBSE和SONAR。MEXMA支持多达80种语言，适用于广泛的多语言应用场景。