NVIDIA港大MIT聯合推出Fast-dLLM v2:端到端吞吐量提升2.5倍

新浪財經
昨天

(來源:機器之心)自迴歸(AR)大語言模型逐 token 順序解碼的範式限制了推理效率;擴散 LLM(dLLM)以並行生成見長,但過去難以穩定跑贏自迴歸(AR)模型,尤其是在 KV Cache 複用、和 可變長度 支持上仍存挑戰。Fast-dLLMv2給出了一條務實路線:將預訓練 AR 模型適配為適配為能並行解碼的 Block-dLLM—— 且只需~1B tokens 量級的微調即可達到 「無損」...

網頁鏈接

免責聲明:投資有風險,本文並非投資建議,以上內容不應被視為任何金融產品的購買或出售要約、建議或邀請,作者或其他用戶的任何相關討論、評論或帖子也不應被視為此類內容。本文僅供一般參考,不考慮您的個人投資目標、財務狀況或需求。TTM對信息的準確性和完整性不承擔任何責任或保證,投資者應自行研究並在投資前尋求專業建議。

熱議股票

  1. 1
     
     
     
     
  2. 2
     
     
     
     
  3. 3
     
     
     
     
  4. 4
     
     
     
     
  5. 5
     
     
     
     
  6. 6
     
     
     
     
  7. 7
     
     
     
     
  8. 8
     
     
     
     
  9. 9
     
     
     
     
  10. 10