MEXMA 是一种新型预训练跨语言句子编码器。在训练过程中，通过结合 token 层级和句子层级的目标，MEXMA 的表现优于以往的方法。研究团队发现，之前用于训练跨语言句子编码器的方法仅通过句子表征来更新编码器，而通过引入 token 层级的目标，研究者可以更好地更新编码器，从而改进性能。
模型链接：https://huggingface.co/facebook/MEXMA
代码链接：https://github.com/facebookresearch/mexma
【Meta】MEXMA
2024-10-21 12:55
40 阅读
0 评论