本文作者:钱钟书

开源与闭源技术路线之争,今天终于要有结果了?

开源与闭源技术路线之争,今天终于要有结果了?摘要: 开源与闭源技术路线之争,今天终于要有结果了?405B被称为全球目前最强大的开源模型,且实力与GPT等主流闭源大模型旗鼓相当。很多人问,Meta会不会担心开源使Llama失去竞争优势...

搜狐科技出品

作者:郑松懿

旷日持久的开源与闭源技术路线之争,今天是否会有一个结果呢?

今天凌晨,Meta 正式发布了 Llama 3.1 系列机型。

搜狐科技从Meta官网获悉,Llama 3.1系列模型包含8B、70B、405B三种大小,最大上下文提升至128K,并优化了代码生成和复杂推理能力。

开源不再只是追赶闭源

谁说开源大模型只能用来跑步?

据了解,超大杯Llama 3.1 405B号称全球性能最强开源机型,实力媲美GPT等主流闭源大机型。

从某种角度来说,从今天开始,再也不需要争论开源与闭源的优劣了,Llama 3.1已经用实力证明了技术路线之争并不会影响大模型的最终表现。

可以说,Meta 在训练 Llama 3.1 模型上也花了不少功夫,Llama 3.1 405B 就用了超过 15 万亿个 token 进行训练。

为了达到模型训练的预期效果,Meta 直接使用了超过 16000 块 H100 GPU 来训练 Llama 3.1,这是 Meta 首次如此大规模地训练 Llama 模型。

话不多说,下面就通过Meta提供的一张大机型通用基准测试图来看看Llama 3.1的强大程度吧。

从基准测试结果来看,Llama 3.1 在绝大部分方面的表现都超越了 GPT-4 (0125),与最新的闭源大模型 GPT-4 Omni、3.5 处于第一梯队。

具体来说,在MMLU标准中,虽然Llama 3.1的得分为88.6,略低于GPT-4 Omni,但也说明其在多任务知识理解能力上表现不俗。

在NIT/Multi标准中香港资料正版大全,Llama 3.1获得了98.1的高分,展现了其处理复杂信息的能力。

在代码生成能力方面(Human主要负责测试代码理解和生成能力),Llama 3.1略优于GPT-4 Omni和3.5。

除了超大罩杯外,Llama 3.1的8B、70B两个尺码也上演了一出“小胜大”的精彩好戏。

从基准测试结果来看,Llama 3.1 8B 几乎击败了 Gemma 2 9B 1T。Llama 3.1 70B 的表现也优于 8x22B 和 GPT 3.5 Turbo。

Meta 官方表示,“借助 Llama 3.1,我们评估了涵盖多种语言的 150 多个基准数据集的性能。这些结果表明 405B 可以与 GPT-4、2 等领先的闭源模型相媲美。”

“我们还利用 405B 参数模型来提高较小模型的训练后质量,让研究团队每轮都能创建更高质量的合成数据来迭代训练模型。这有助于小模型与具有类似参数数量的模型相比,展现竞争力。”

扎克伯格详细讨论开源

伴随Llama 3.1模型的发布,扎克伯格也忍不住发表了题为《开放AI才是道路》的演讲。

“在高性能计算发展的早期,各大科技公司投入巨资开发自己的闭源版 Unix,”扎克伯格说,“很难想象还有什么其他方式可以开发如此先进的软件。然而,最终开源 Linux 还是流行起来了。”最初是因为它允许开发人员随意修改其代码,而且价格更实惠,而随着时间的推移,它变得越来越先进、越来越安全,并且拥有比任何闭源 Unix 都多的功能和更广泛的生态系统,因此获得了广泛支持。”

“我相信人工智能也会以类似的方式发展。今天,几家科技公司正在开发领先的封闭模型。但开源正在迅速缩小差距。去年,Llama 2 仅在 Edge 之后与上一代模型相当。今年,Llama 3 在某些领域具有竞争力,甚至在某些领域领先于最先进的模型。从明年开始,我们预计未来的 Llama 模型将是业内最先进的。但即使在此之前,Llama 已经在开放性、可修改性和成本效益方面处于领先地位。”

谈及开源对开发者的益处,扎克伯格表示,“我们需要掌控自己的命运,不能被困在封闭的供应商中。开源软件往往比闭源更安全,因为它的开发更加透明。”

“开发人员可以在自己的基础架构上对 Llama 3.1 405B 进行推理,成本约为使用 GPT-4o 等封闭模型的 50%,适用于用户界面和离线推理任务。”

很多人问 Meta 是否担心开源会让 Llama 失去竞争优势,扎克伯格淡定地表示,“大型模型之间的激烈竞争还会持续下去,相比下一代模型,没有哪种模型会一直保持优势,Llama 会成为行业标准,关键是一代一代保持竞争力、高效和开放。”

“Meta 和封闭模型提供商之间的一个关键区别在于,出售 AI 模型的访问权限不是我们的商业模式。通过与 共享我们的服务器、网络和数据中心设计开源与闭源技术路线之争天天彩澳门资料免费大全,今天终于要有结果了?,并让供应链在我们的设计上实现标准化,我们可以帮助我们的客户实现他们的目标。” 我们已经节省了数十亿美元。通过开源 、React 等领先工具,我们从生态系统的创新中受益匪浅。”

谈及开源给世界带来的好处,扎克伯格认为,开源是人工智能积极未来发展的必要条件。人工智能比任何其他现代技术都更具有潜力,可以提高人类的生产力、创造力和生活质量,加速经济增长,加速人类的发展。开源将确保全球更多人能够共享人工智能带来的好处和机遇,避免权力过度集中在少数公司,促进社会各界更加均衡、更加安全地推广这项技术。

“关于开源人工智能模型的安全性存在争议,我认为开源人工智能将比其他选择更安全。我认为各国政府会得出结论,支持开源符合他们的利益,因为它将使世界更加繁荣和安全。开源人工智能是下一个大趋势。”人工智能代表着世界上利用这项技术创造最大经济机会和尽可能安全的最大机会。”

扎克伯格还提到了开源对于大模式竞争的重要意义。“美国的优势在于去中心化和开放的创新。有些人认为我们必须封闭我们的模式,以防止中国获得这些模式,但我认为这行不通。这只会让美国及其盟友处于不利地位。一个封闭模式的世界将导致少数大公司和我们的地缘政治对手能够获得领先的模式,而初创公司、大学和小企业将错失良机。”

“将美国的创新限制在封闭式开发中,增加了我们完全无法领先的可能性。相反2023年一码一肖100%准确,我相信我们最好的策略是建立一个强大的开放生态系统,并让我们的领先公司与我们的政府和盟友密切合作,以确保他们能够最好地利用最新的进展,并在长期内实现可持续的先发优势,”扎克伯格说。

“我相信 Llama 3.1 将成为行业的一个转折点,大多数开发人员将开始主要使用开源,我预计这种方法将从现在开始发展。我希望你能加入我们的努力,将人工智能的好处带给世界。”地球上的每个人。

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏

阅读
分享

发表评论

快捷回复:

评论列表 (暂无评论,47人围观)参与讨论

还没有评论,来说两句吧...