反抗軍在國內的 NPU 伺服器上運行 SK Telecom 的 A.X K1 AI 模型
Rebellions 是一家南韓 AI 半導體公司,該公司於 23 日宣布,已成功在國內神經處理器(NPU)伺服器上運行 SK Telecom 的超大型 AI 模型 A.X K1。Rebellions 使用自家 AI 伺服器「Rebel Server」,以超過 5,000 億(5000 billion)參數穩定執行該模型,並展示可同時處理多名使用者請求的 AI 代理服務。這項成果證明,僅使用國內 AI 模型與 NPU 基礎設施即可運行大型規模 AI 服務,使其成為主權 AI 能力的實用案例。Rebellions 為 SK Telecom 旗下、在科學與資訊通信部(Ministry of Science and ICT)獨立 AI 基礎模型項目中的聯盟成員,負責展示基於國內 NPU 的 AI 基礎設施。 Rebellions 為 MoE 架構與平行處理優化軟體 A.X K1 採用專家混合(Mixture of Experts,MoE)架構,會有選擇地僅使用必要的專門模型,以提升大型模型的計算效率。Rebellions 為 MoE 模型優化了專用軟體,並將技術應用於將各種運算分散到多個 N
SK電訊-16.03%
Oliver Grant·07-23 00:59
