ModernBERT

ModernBERT是由Answer.AI、LightOn、约翰斯·霍普金斯大学、英伟达和HuggingFace共同开发的一种现代编码器-only Transformer模型，是对经典BERT模型的重大升级。该模型在包含2万亿token的庞大数据集上进行了训练，支持高达8192 token的序列长度，显著增强了对长上下文的处理能力。ModernBERT在多种自然语言处理任务中表现出超越现有最佳模型（SOTA）的性能，其运行速度更是DeBERTa的两倍。这一模型特别适用于信息检索、文本分类及实体识别等领域，并已开放源代码，供学术界和工业界研究人员使用。