专注于边缘计算,Mistral AI发布Ministral 3B/8B模型

作者:Yu 来源:原创 2024-10-17

  10月17日消息,据外媒报道,AI初创公司Mistral AI日前推出了两款新的AI大模型,Ministral 3B和8B,由于它们的体积较小,因此设计用于设备上和边缘计算

  该公司将这个新模型家族命名为“les Ministraux”,因为它们在不到100亿参数类别中的评级,可以在智能手机、平板电脑和物联网设备等平台上运行。Mistral表示,这些新的前沿模型可以针对常见用例进行微调,包括专业任务,并通过函数调用功能作为AI代理工作。

  该公司表示,客户和合作伙伴越来越多地要求“本地化、隐私优先的推断,用于关键应用,如设备上的翻译、无需互联网的智能助手、本地分析和自主机器人”。Les Ministraux旨在为这些场景提供高效计算和低延迟的解决方案。

  这些较小的AI模型可以用作较大模型,如Mistral Large的调节器,作为多步骤工作流程中的中介,处理输入解析、任务路由和应用调用以降低成本。

  据悉,这两个模型支持高达128,000个令牌的上下文长度,这使它们在数据输入量方面与OpenAI的GPT-4 Turbo保持一致。Ministral 8B还配备了一种特殊的“滑动窗口注意力模式”,能够实现更快、更节省内存的部署。

  Ministral 3B和8B的发布是在Mistral 7B发布一年后,Mistral 7B是该公司宣称在模型架构方面取得重大进步的一个LLM。8B和3B指的是两个模型中的参数数量,分别是80亿和30亿,公司表示最小的模型,Ministral 3B,在大多数基准测试中已经超越了Mistral 7B。

  根据基准测试,预训练的Ministral 3B在多任务语言理解评估中超过了谷歌公司的Gemma 2 2B和Meta的Llama 3.2 3B模型,得分分别为60.9对比52.4和56.2。Ministral 8B也以65.0分的成绩超过了Llama 8B的64.7分。

发布
X
第三方账号登录
  • 微博认证登录
  • QQ账号登录
  • 微信账号登录

企业俱乐部