MIT совместно с NVIDIA разрабатывают технологию TLT, которая обеспечивает наивысшую скорость обучения больших моделей ИИ для вывода, увеличивая эффективность до 210%

IT之家 2月28日的消息：MIT News于2月26日发布了一篇博客文章，称麻省理工学院（MIT）联合英伟达等机构，发布了“驯服长尾”（TLT）技术，可大幅提升推理大语言模型（LLM）的训练效率。

IT之家援引博客文章介绍，推理大模型擅长通过拆解步骤来解决复杂问题，但在强化学习（RL）的训练过程中，算力与能耗的消耗极为巨大。

研究团队发现，生成多个备选答案的“推演”（rollout）阶段占据了高达85%的训练时间。由于不同处理器生成回答的长度不一，完成较快的处理器只能被迫闲置，等待其他处理器完成长文本任务，从而形成了严重的效率瓶颈。

为解决该痛点，MIT研究人员联合英伟达、苏黎世联邦理工学院等机构，提出了一种名为“驯服长尾（TLT）”的自适应解决方案。

该方案的核心在于创新性地运用“投机解码”技术，即训练一个较小的“草稿模型”（drafter）来快速预测大模型的未来输出，随后由大模型批量验证这些猜测。这样一来，大模型无需逐个顺序生成输出，从而大幅加快了处理进程。

在传统的投机解码中，草稿模型通常只训练一次并保持静态。然而在强化学习中，主模型需要更新数千次，静态草稿模型会迅速失效。

因此，TLT系统引入了“自适应草稿训练器”。一旦部分处理器完成短查询进入闲置状态，系统会立即调度它们实时训练草稿模型。

同时，“自适应推演引擎”会根据工作负载特征自动调整解码策略，确保草稿模型始终与目标大模型保持高度同步，且不增加额外算力开销。

基于真实世界数据集的测试表明，TLT技术在保持模型准确率完全无损的情况下，将多个推理大语言模型的训练速度提升了70%到210%。

不仅如此，训练得到的轻量级草稿模型还可以作为免费的副产品，直接用于后期的高效部署。研究团队未来计划将该技术融入更多训练与推理框架中，进一步降低AI开发成本并提升能源利用率。