一張卡每小時收入38美元！DeepSeek開源推理框架並披露賬本
10月20日，DeepSeek又放大招了，這次直接開源了內部大規模雲服務的推理框架DeepInfer，這是支撐DeepSeek大模型高吞吐、低延遲線上推理服務的核心技術，這一開源對AI行業意義重大。
比開源更受關注的是，在同步發布的技術報告中，DeepSeek公布了集群服務的吞吐和關鍵收入數據。DeepSeek提到，基於這一推理框架，團隊已實現 DeepSeek V4.1 Flash 的高吞吐、低延遲大規模推理服務。目前單一集群的服務吞吐是155萬億Tokens/天，整體收入是每卡每小時38美元（按谷價）。
「真正的『OpenAI』來了」。有網友評價道。在報告的評論區，大家紛紛讚歎DeepSeek這一毫無保留的開源行為，認為DeepSeek「不僅授之以魚，還授之以漁」。
在公告中，DeepSeek闡述了推理框架的重要性。大模型的能力邊界由模型本身劃定，但如何以合理成本提供超大規模的模型服務，取決於一個長期未被公眾了解的中間層，即推理框架。
訓練使模型學有所成，推理則讓模型為人所用。面對海量的用戶調用，推理框架負責統籌調度龐大的算力集群，其效率直接決定了 AI 服務的算力成本與電力消耗。
DeepSeek一直在研究如何將推理性能推向極致，積累了不少成果。在此前開源一系列大模型、TileLang編譯工具及推理運算元庫的基礎上，這次他們決定進一步將內部推理框架DeepInfer全面開源。
談及原因，DeepSeek表示希望通過分享內部的部署經驗，幫助開發者與企業組織優化大規模推理的吞吐與延遲，從而高效構建私有化及公有雲部署，降低算力成本、減少能源消耗，「讓智能以更低的價格觸達更廣泛的人群，實現真正的大模型普惠。」
「這是純粹的開源精神。」行業人士表示。
在具體技術細節上，DeepSeek提到，DeepInfer框架集成了高性能運算元和深度優化的推理引擎，支持分散式推理、推測解碼等能力，可以在英偉達與華為昇騰平台上運行。
在DeepSeek V4.1 Flash 推理系統設計之初，內部就確立的目標之一是，兼容多種廠商的計算晶元，支持在不同硬體平台上部署，並充分發揮各平台的性能。
不過，開源框架也有明確的交付邊界。官方倉庫說明，此次發布提供離線推理及大規模服務所需的核心能力；要搭建完整在線服務，開發者仍需補齊KV緩存系統、推理階段分離部署及跨副本負載均衡等組件。因此，這次開源是開放核心引擎與工程經驗，企業落地仍需要系統集成和運維投入。
從這個角度看，DeepInfer開源的價值在於，讓更多團隊有機會理解並改進模型服務的運行方式。實際能夠節省多少成本，仍取決於硬體配置、業務負載和部署能力。
*以上內容系網友澳洲一點通自行轉載自第一財經，該文僅代表原作者觀點和態度。yeeyi號系信息發布平台，僅提供信息存儲空間服務，不代表贊同其觀點和對其真實性負責。如果對文章或圖片/視頻版權有異議，請郵件至我們反饋，平台將會及時處理。