据独家报道,下一个超级计算集群将由100,000 GB200组成。
这是 迄今为止最强大的 AI 芯片。
另一方面,xAI也在构建所谓的“世界上最大的超级计算集群”,由10万台H100组成,将于本月底投入训练。
在马斯克的最新帖子中,他立即回应了xAI和甲骨文终止服务器交易谈判的报道。
他说,xAI已经从甲骨文购买了24,000台H100,并在这些芯片上训练了Grok 2。
Grok 2 目前正在进行微调和错误修复,预计将于下个月发布。同时,xAI也在构建自己的10万个H100集群,旨在实现最快的训练完成时间,并计划在本月晚些时候开始训练模型。这将是世界上最强大的训练集群,优势不言而喻。我们之所以决定打造自己的10万片H100芯片系统和下一代主要系统,是因为我们的核心竞争力取决于能够比其他AI公司更快。这是赶上竞争对手的唯一途径。甲骨文是一家好公司,还有另一家公司(暗指)在它参与的GB200集群项目中显示出很大的潜力。但是,当我们的命运取决于成为最快的公司时,我们必须亲自对待它,而不仅仅是一个旁观者。
总之,在这个瞬息万变的时代,要想超越竞争对手,就必须保证自己拥有绝对的速度优势。
xAI甲骨文谈崩盘,损失数百亿美元
今年 5 月,有报道称 xAI 一直在讨论一项多年协议,从甲骨文租赁 的 AI 芯片。
这笔交易预计高达100亿美元,但由于许多问题而停滞不前。
其中,马斯克要求超级计算的构建速度完全超出甲骨文的想象。也有甲骨文勺子担心 xAI 的首选位置没有足够的电力供应。
为了改变这种状况,我们只能依靠自力更生。
现在,xAI正在田纳西州孟菲斯建立自己的AI数据中心,该数据中心使用戴尔并出货的芯片。
据参与谈判的人士称背景分析2023澳门今晚开奖特马,甲骨文没有参与该项目。
事实上,在此之前,xAI已经从甲骨文租赁了许多英伟达芯片,成为云计算GPU供应商的最大客户之一。
尽管更广泛的谈判失败了,但该协议目前仍将有效。
从马斯克的最新回应中可以看出,甲骨文芯片的数量已经从5月份的1.6万颗增加到了2.4万颗。
100,000 件 H100 系列
然而,马斯克仍然希望建造一台拥有 100,000 个 GPU 的超级计算机,他称之为“的”。
他表示,xAI需要更多的芯片来训练下一代AI模型Grok 3.0。
马 先生在 5 月份告诉投资者,他希望在 2025 年秋季之前启动并运行超级计算机,并且他将亲自负责按时交付超级计算机,因为这对开发 LLM 至关重要。
他曾多次公开表示,几个月内将推出一个由10万架H100组成的液冷训练集群。
Grok 模型迭代至关重要,因为它是 X App 订阅包的一部分,该包起价为每月 8 美元,包括各种功能。
就在上周,xAI还发布了一张马斯克和其他员工在数据中心的照片。在照片背后的背景中,到处都是服务器。
虽然在帖子中,但没有标明位置。但在6月,这位董事长表示,xAI正在孟菲斯的伊莱克斯工厂建造一台超级计算机。
田纳西州孟菲斯市xAI新工厂的公用设施布局
戴尔CEO戴尔表示,戴尔正在帮助xAI建设数据中心。
此外,梁CEO还晒出了自己和马斯克在数据中心的合影,这也印证了公司与xAI的合作关系。
,上个月马斯克宣布,xAI已经完成了惊人的60亿美元B轮融资,对该公司的估值为240亿美元。
这
B轮融资的投资者包括8家投资者,包括红杉资本、Valor、Vy和&&。
他个人表示,在最新一轮融资中,大部分资金将投入到算力建设中。
显然,xAI构建的超级计算项目是其追赶努力的一部分。
100,000 GB200 超级计算机,两年 50 亿美元
事实上,另一方面,他们也在不停地加快研发速度,不敢懈怠。
据两位知情人士透露,甲骨文与的交易涉及英伟达即将推出的10万颗GB200芯片。
当这台超级计算机建成时,马斯克的 100,000 台 H100 将一文不值。
有网友感叹,集群中的 GB200芯片数量,大致相当于Intel 80286处理器的晶体管数量,我有生之年看到这一幕,真是惊叹不已。
还有人对此进行了分析,“GB200的训练性能将是H100的4倍”。
GPT-4 在 25,000 天内对 100 台 A90(H100 的前身)进行了训练。因此,从理论上讲,您可以在不到 2 天的时间内使用 200 GB4 训练 GPT-100,000,尽管这是在理想条件下,可能并不完全现实。但这确实让人想知道,他们可以用这个超级计算机集群在90天内训练什么样的人工智能模型方法探讨管家婆一肖-一码-一中一特,OpenAI 与 xAI 打造超算集群诠释2023澳门资料大全正版资料,GPU 或将被消耗殆尽,AGI 时代即将来临?,该集群预计将于2025年第二季度投入使用。
在 GTC 2024 发布会上,老黄曾介绍 H100 比 A100 快 4 倍,B200 比 H100 快 3 倍。
据熟悉GPU云定价的人士透露,假设两家公司签署多年协议,租用这样一个集群的成本可能在两年内达到约50亿美元。
该集群预计将于 2025 年第二季度准备就绪。
甲骨文将从英伟达购买芯片并将其出租给,然后由英伟达提供芯片。毕竟,这已成为和 的一贯做法。
投入金钱作为回报,获得了新模式的使用权。
据参与规划的人士透露,甲骨文计划将芯片放置在德克萨斯州阿比林的数据中心。
这笔交易还表明,本身无法获得足够的英伟达芯片。
此外,云计算提供商相互租用服务器的情况并不常见,但正是对英伟达芯片的强劲需求导致了这笔不寻常的交易。
去年,英伟达达成了类似的服务器租赁协议,以增加英伟达服务器的容量。
引用:
还没有评论,来说两句吧...