OpenAI 工程师 Clive Chan 挑战 V4 硬件建议,称其相较 V3 存在错误与模糊之处

Gate News 消息,4 月 24 日——OpenAI 工程师 Clive Chan 就 V4 技术报告中的硬件建议章节提出了详细异议,称其“出人意料地平庸且容易出错”,与备受赞誉的 V3 版本相比尤为如此。V3 的硬件指导,其中包括问答(Q&A)环节,这些环节成为 ISCA 学术会议上最受欢迎的讨论话题,并提供了与业界互连标准相匹配的具体建议。相比之下,V4 则要模糊得多。

Chan 系统性地质疑了三项关键建议。关于功耗,报告指出,软件优化允许芯片在同一时间以满负荷运行计算、存储与通信,并建议芯片制造商预留更多的功率余量。Chan 认为这适得其反:芯片的总功耗受物理工艺限制所约束,因此预留更大的功耗裕量只会降低工作频率,最终减少计算性能。关于 GPU 到 GPU 的数据传输,报告主张采用拉取(pull)模型——由 GPU 主动获取数据——而非推送(push)模型,并称在推送操作中存在较高的通知开销。Chan 则对此提出异议,认为拉取实际上更慢,并且更优的是提升网络适配器能力。然而,这两者可能在讨论问题的不同层面:报告谈的是通知机制的开销,而 Chan 指的是传输延迟本身。

关于激活函数,报告建议用更简单的函数来替换 SwiGLU,以降低计算负担。Chan 认为这没有任何价值,并指出 Sonic MoE 已经通过使用 SwiGLU 展示了最佳性能。Chan 怀疑 DeepSeek 可能“故意削弱了这一部分。”

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

汤姆·李预计年末将把标普 500 指数推向 7,700,看好 AI 和半导体股票的上涨空间

据 CNBC 今日(5 月 7 日)采访中的 Tom Lee 称,该分析师预测标普 500 指数可能在年末达到 7,700 或更高。尽管美国股票创下历史新高,Lee 表示,AI 和半导体领域的领涨股票仍算合理估值,其远期市盈率约为 22 t

GateNews11 分钟前

Upstage 于 5 月 7 日完成 Daum 收购,计划整合 Solar LLM

据《韩国时报》报道,Upstage 于 5 月 7 日完成了对 AXZ 的收购,AXZ 是韩国互联网门户 Daum 的运营方。该交易是在 1 月签署的一份谅解备忘录之后进行的:在该备忘录下,Kakao 将其在 AXZ 的全部持股置换为 Upstage 的股权。Upstage 计划将其 Solar 大型语言模型应用于

GateNews15 分钟前

Snap 终止 Perplexity AI 合作协议,取消 4 亿美元付款

根据其最新财报,Snap 终止了 AI 搜索初创公司 Perplexity 于 11 月宣布的一项合作,取消了原本计划在一年内进行的 4 亿美元现金与股权支付。该功能曾在 Snapchat 的聊天中由一个小范围用户群进行测试,但两家公司未能就更广泛的合作达成一致

GateNews25 分钟前

马斯克 5/6 宣布 XAI 解散、改名 SpaceXAI 并入 SpaceX

马斯克5/6在X宣布xAI解散为独立公司,未来AI产品统一以SpaceXAI名义出现,SpaceX亦在2026年2月收购xAI,此为收购后的品牌与组织整并最后步骤。同期Anthropic与SpaceXAI签订Colossus1算力合约,显示品牌统一即日生效。

鏈新聞abmedia29 分钟前

Genesis AI 推出 GENE-26.5 机器人平台,并获得 US$105M 融资

Genesis AI 于 5 月 6 日推出 GENE-26.5,这是一款全栈机器人平台,旨在利用专有手套数据、仿真和人类视频来提升机器人抓取与操作能力,具体如公司所述。该初创公司已从包括 Eclipse 和 Khosla Ventures 在内的投资者处融资 1.05 亿美元

Crypto Frontier45 分钟前

Ethos 以 a16z 领投完成 A 轮融资,融资额达 2750 万美元

据 Foresight News 报道,AI 驱动的人才匹配平台 Ethos 在由 Andreessen Horowitz(a16z)领投的 A 轮融资中筹集了 2750 万美元,参与方包括 General Catalyst、XTX Markets、Matt Miller 和 Common Magic。该平台使用 AI 来面试候选人并分析他们

GateNews1小时前
评论
0/400
暂无评论