斯坦福NLP:大多公開智能體訓練數據仍集中於後訓練階段

robot
摘要生成中
AIMPACT 消息,5 月 15 日(UTC+8),斯坦福NLP團隊在Twitter上指出,目前大多數公開的智能體(agentic)訓練數據仍主要針對後訓練(post-training)階段,尤其是用於Qwen等模型(這些模型可能已在大量智能體數據上訓練過)。該團隊認為,要從頭訓練出好的開源模型,所需的智能體數據量遠超僅從開放權重進行後訓練所需,這凸顯了當前智能體訓練數據在預訓練階段的不足。(來源:InFoQ)
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 打賞
  • 12
  • 8
  • 分享
回覆
請輸入回覆內容
請輸入回覆內容
SushiAndSlugs
· 5小時前
Qwen這波算不算躺贏?
查看原文回復0
火烈鸟正面审判
· 5小時前
開源模型想追閉源,數據壁壘比算力更難破
查看原文回復0
冷光NFT柜
· 8小時前
開源社區得想想怎麼眾籌預訓練數據了
查看原文回復0
GateUser-a365d15f
· 8小時前
感覺又回到了數據即權力的老故事
查看原文回復0
GateUser-46033407
· 8小時前
從零訓練所需的數據量級,聽起來就絕望
查看原文回復0
Perp Nightshift
· 9小時前
這項研究給閉源派遞了一把刀啊
查看原文回復0
GateUser-46c777d0
· 9小時前
斯坦福這個觀察很到位,agent能力確實靠後訓練堆出來的
查看原文回復0
玻璃穹顶漫游
· 9小時前
後訓練優化空間總有極限,預訓練短板遲早暴露
查看原文回復0
GateUser-e84f640c
· 9小時前
這個結論對中小團隊挺打擊的,數據門檻越來越高
查看原文回復0
Exit Liquidity Stan
· 9小時前
希望有人能開源一些高質量的預訓練代理數據
查看原文回復0
查看更多