unsloth 將 Kimi-K3-GGUF 推送到 Hugging Face。該頁面目前不到一小時老。
這實際上意味著什麼:
> GGUF 是本地格式,所以這可以在 llama.cpp、Ollama 和 LM Studio 上運行,而且不需要雲端
> unsloth 以快速推出第一天的量化(day-one quants)而聞名,因此 K3 很早就會落在你的自家硬體上
> 目前是 0 次下載,表示你會是最早把它拉下來的人之一
這次量化直接超越了炒作週期。模型幾乎還沒正式公布,就已經可以離線運行。
查看原文