苹果发布开源多模态大模型Ferret

  12月25日消息，据外媒报道，2022年10月，苹果公司和哥伦比亚大学的研究人员合作发布了名为“Ferret”的开源多模态大模型。

  据VentureBeat报道，虽然一开始并没有引起太多关注，但在近日，这一发布对人工智能研究人员来说却成了一件大事。Bart De Witte是一家医疗领域的人工智能非营利组织的负责人，他在社交平台上表示：“我不知何故错过了这一点，苹果于 10 月加入了开源人工智能社区。Ferret 的推出证明了苹果致力于影响深远的人工智能研究，巩固了其在多模态人工智能领域领导者的地位……ps：我期待着有一天，本地大模型作为重新设计的 iOS 的集成服务运行在我的 iPhone上。”

  Ferret的开源版本是在非商业许可下执行的，所以它目前的状态不能商业化。然而，它总是有可能以某种方式被用在未来的苹果产品或服务中。

  苹果AI/ML研究科学家Zhe Gan在10月份解释说，Ferret的用途是作为一个系统，可以在图像中“以任何粒度在任何地方引用和放置任何东西”。它也可以通过使用图像中的任何形状的区域来做到这一点。

  简单地说，模型可以检查在图像上绘制的区域，确定其中对查询中的用户有用的元素，识别它，并在检测到的元素周围绘制一个边界框。然后，它可以使用该标识的元素作为查询的一部分，然后它可以以典型的方式响应查询。

  例如，在图像中突出显示动物的图像并询问大模型该动物是什么，它可以确定该生物的物种，并且用户指的是一组动物中的单个动物。然后，它可以使用图像中检测到的其他物品的上下文来提供进一步的响应。

  此次发布对研究人员来说很重要，因为它表明苹果希望对其人工智能工作更加开放，而不是以往的保密立场。

  苹果还面临着基础设施的问题，虽然该公司正在努力增加自己拥有的人工智能服务器的数量，但目前可能还没有足够的规模与ChatGPT进行面对面的合作。