🌙月之暗面發布 Kimi K3:全球首個開源 2.8 萬億參數模型

2026年07月28日 20:03

thumb.jpeg

🌙月之暗面發布 Kimi K3:全球首個開源 2.8 萬億參數模型

月之暗面(Moonshot AI)在 HuggingFace 上正式開源 Kimi K3 模型,總參數量達到 2.8 萬億,激活參數 104B,是全球首個開放的 3T 級別模型。Kimi K3 採用 Kimi Delta Attention(KDA)與 Attention Residuals(AttnRes)新架構,基於 Stable LatentMoE 框架,896 個專家中每 token 激活 16 個,整體擴展效率較 Kimi K2 提升約 2.5 倍。模型原生支持文本、圖像與視頻理解,上下文窗口達 100 萬 token,並支持 MXFP4 量化。

在 GPQA Diamond、BrowseComp、DeepSWE 等多項基準測試中,Kimi K3 與 GPT-5.6 Sol、Claude Fable 5 等前沿模型互有勝負。模型權重按 Kimi K3 License 開放,支持 Transformers、vLLM、SGLang 等多種推理框架部署。

Huggingface | MoonshotAI/Kimi-K3

🌸 在花頻道 · 茶館水群 · 投稿通道