DeepSeek 开源 TileKernels:大型模型训练与推理的 GPU 内核库

Gate News 消息,4月23日——DeepSeek 已在 MIT 许可下开源了 TileKernels,这是一款使用 TileLang 编写的 GPU 内核库,面向大型语言模型的训练与推理。TileLang 是 tile-ai 团队开发的领域专用语言,用于在 Python 中表达高性能 GPU 内核。DeepSeek 表示,该库中的大多数内核已接近在计算密度与内存带宽方面的硬件性能上限,其中部分内容已部署到内部的训练与推理操作中。

该库包含六类内核:MoE (专家混合) 的门控与路由,包括 Top-k 专家选择、token 到专家的映射,以及带权重归一化的融合 expand/shrink;量化支持 FP8、FP4 和 E5M6 格式,提供按 token、按块和按通道的量化,并包含融合的 SwiGLU+量化操作;批量转置;Engram 门控,融合 RMSNorm 的前向/反向传播与权重梯度归约;Manifold HyperConnection,使用 Sinkhorn 归一化并进行混合的 split/apply;以及将底层内核封装为可训练层的高级 autograd 接口。

Engram 和 Manifold HyperConnection 是 DeepSeek 模型架构的专有组件,其实现细节首次向公众披露。该库需要 NVIDIA SM90 或 SM100 架构的 GPU (H100/H200 或 Blackwell 系列),CUDA Toolkit 13.1 或更高版本,以及 PyTorch 2.10 或更高版本。

免责声明:本页面信息可能来自第三方,不代表 Gate 的观点或意见。页面显示的内容仅供参考,不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证,对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为,价格波动剧烈,您可能损失全部投资本金。请充分了解相关风险,并根据自身财务状况和风险承受能力谨慎决策。具体内容详见声明

相关文章

Ethereum Foundation Releases Q1 2026 Grants List, Focusing on Cryptography, ZK, and Protocol Infrastructure

According to ChainCatcher, the Ethereum Foundation announced its Q1 2026 grants and ecosystem support projects on April 29, prioritizing cryptography, zero-knowledge proofs (ZK), protocol security, and core infrastructure development. The funding supports client optimization (Geth, Erigon,

GateNews1小时前

Hyperliquid 提出在 HIP-4 中加入预测市场功能,挑战 Kalshi 和 Polymarket

Hyperliquid 是一家去中心化加密交易所,正提议通过 HIP-4 将预测市场添加到其平台,目前处于公开测试阶段。该功能将使交易者能够对现实世界的结果进行下注,随着该行业吸引更多关注并迎来新的进入者,它将直接与 Kalshi 和 Polymarket 展开竞争。

GateNews2小时前

Avalanche基金会推出研究资助计划:单笔提案最高$50K

据Odaily报道,Avalanche基金会于4月29日启动了一项研究资助计划,邀请全球学术研究人员申请单笔提案最高$50,000的资助。该举措聚焦两大核心领域:权益证明网络内加密货币资产的定价与估值,以及验证者经济与网络安全,包括最优质押比例、验证者奖励模型和非通胀激励机制。

GateNews2小时前

SharpLink 以太坊质押奖励突破 18,300 ETH,上周收益 459 ETH

据链捕手称,SharpLink 的以太坊质押奖励自推出其 ETH 资金库策略以来已累计达到 18,309 ETH,其中上周获得 459 ETH。

GateNews3小时前

KITE AI 主网于 4 月 29 日在 Avalanche 上线:面向用途的 AI 代理区块链

据 Altcoin Buzz 报道,KITE AI 主网于 4 月 29 日在 Avalanche 上线,推出了一条专为自主 AI 代理设计的专用第 1 层区块链。该平台集成了身份与原生支付能力,使 AI 代理能够在不受阻碍的情况下运行、完成交易并实现规模化。 Avalanche

GateNews3小时前

Mezo Launches Bitcoin Vaults With Anchorage, Bullish Commits 250 BTC

According to Mezo and its partners, the Bitcoin-native finance platform has launched Mezo Prime, an institutional product offering yield and lending against held Bitcoin, today. Bullish (NYSE: BLSH) is the launch customer, investing 250 BTC into Mezo and deploying part of its corporate Bitcoin

GateNews3小时前
评论
0/400
暂无评论