新一代语言模型ModernBERT发布，其处理速度是RAG等任务的四倍

  12月25日消息，最近，Hugging Face、英伟达、约翰霍普金斯大学、Answer.AI，以及LightOn联合发布了开源语言模型ModernBERT。据开发人员介绍，ModernBERT在处理速度、效率和质量方面取得了显著进步。该模型的运行速度比上一代快四倍，同时使用更少的内存。

  ModernBERT的设计允许它处理多达8192个令牌的文本，这比现有编码模型的典型512个令牌限制增加了16倍。此外，ModernBERT是第一个经过广泛训练的编程代码编码模型，在StackOverflow问答数据集中得分超过80，创下了编码模型的新纪录。

  在通用语言理解评估(GLUE)中，ModernBERT Large在处理速度和准确性之间实现了最佳平衡，每个令牌的处理时间约为20毫秒，得分为90。

  与GPT-4等现有的大型语言模型相比，ModernBERT显著降低了大规模文本处理的成本。GPT-4的每个查询的成本是几美分，而ModernBERT可以在本地运行，使其更快、更便宜。例如，FineWeb Edu项目在使用BERT模型过滤150亿个代币时产生了6万美元的成本，而即使使用谷歌的Gemini Flash解码器，成本也超过了100万美元。

  开发团队表示，ModernBERT非常适合各种实际应用，包括检索增强生成(RAG)系统、代码搜索和内容审核。与需要专用硬件的GPT-4不同，ModernBERT可以在标准消费级游戏GPU上高效运行。

  目前，ModernBERT提供两个版本：具有1.39亿参数的基础模型和具有3.95亿参数的大型版本。这两个版本现在都可以在Hugging Face上使用，用户可以直接用它们替换现有的BERT模型。开发团队计划明年发布更大的版本，但没有多模式功能的计划。为了鼓励开发新的应用程序，他们还发起了一项竞赛，奖励前五名示威者100美元和六个月的Hugging Face Pro订阅费。