Hugging Face发布SmolLM系列小模型

  7月22日消息，Hugging Face日前推出了SmolLM，这是一款全新的紧凑型语言模型系列，其中包含1.35 亿、3.6亿和17亿参数模型，旨在容纳各种计算资源。

  Hugging Face公司SmolLM项目首席机器学习工程师Loubna Ben Allal表示：“我们不需要为每项任务都建立大模型，就像我们不需要一个破碎球在墙上钻孔一样。为特定任务设计的小模型可以完成很多工作。”

  体量最小的SmolLM-135M模型尽管在训练阶段使用的token较少，但表现仍然优于Meta的MobileLM-125M。SmolLM-360M号称在性能上超越了所有参数低于5亿的模型。旗舰级模型SmolLM-1.7B则在多项基准测试中击败了微软的Phi-1.5、Meta的MobileLM-1.5B等模型。

  值得一提的是，Hugging Face还将整个开发过程开源，从数据管理到训练步骤。这种透明度与公司对开源价值观和可重复研究的承诺相一致。

  这些模型的出色表现归功于精心策划的训练数据。SmolLM基于Cosmo语料库构建，其中包括Cosmopedia v2(合成教科书和故事)、Python Edu(教育Python示例)和FineWeb Edu(精心策划的教育网络内容)。

  “我们使用SmolLM获得的性能表明了数据质量的重要性。我们开发了创新的方法来精心策划高质量的数据，使用网络和合成数据的组合，从而创建了最好的小模型。”Loubna Ben Allal说道。