|
近日，天翼云DeepSeek模型推理技術(shù)迎來(lái)重大升級(jí)。該技術(shù)不僅支撐DeepSeek-R1滿(mǎn)血版模型實(shí)現(xiàn)性能的四倍提升，更將大規(guī)模部署模型的成本降至原來(lái)的25%以下，為AI應(yīng)用落地鋪就更為寬廣的道路。 此次技術(shù)升級(jí)主要體現(xiàn)在量化技術(shù)賦能及通信傳輸優(yōu)化兩大層面。其中，天翼云針對(duì)模型的浮點(diǎn)計(jì)算進(jìn)行深度優(yōu)化，使用高效量化算法，大幅減少計(jì)算資源消耗，提升推理速度，同時(shí)保證性能不打折。 通信傳輸方面，天翼云通過(guò)優(yōu)化通信算子編排與通信方式，顯著提升MoE模型推理中的通信效率，助力DeepSeek-R1模型的整體處理能力再上新臺(tái)階。 基于兩大技術(shù)升級(jí)，天翼云提供的DeepSeek-R1滿(mǎn)血昇騰版每實(shí)例性能提升至原版本207%，首字輸出仍保持百毫秒級(jí)響應(yīng)；每實(shí)例部署所需機(jī)器數(shù)減少一半，僅為兩臺(tái)。 此次升級(jí)DeepSeek-R1為行業(yè)的大規(guī)模AI應(yīng)用提供了更完善的解決方案。DeepSeek-R1滿(mǎn)血昇騰版整體部署成本降至原來(lái)25%以下，意味著企業(yè)可以在不增加太多預(yù)算的情況下，享受到更強(qiáng)大、更高效的AI服務(wù)，加速了AI技術(shù)的普及與應(yīng)用。 目前，天翼云“息壤”智算平臺(tái)已有多款產(chǎn)品支持部署DeepSeek，為行業(yè)提供了性能卓越、安全可控的智能算力基座，以普惠AI應(yīng)用服務(wù)，不斷促進(jìn)國(guó)產(chǎn)AI生態(tài)繁榮。 科技創(chuàng)新的目標(biāo)是解決實(shí)際應(yīng)用，促進(jìn)行業(yè)進(jìn)步。天翼云始終堅(jiān)持科技創(chuàng)新，將技術(shù)升級(jí)與市場(chǎng)需求緊密結(jié)合，加速AI技術(shù)從理論走向?qū)嵺`，從實(shí)驗(yàn)室走向生產(chǎn)線(xiàn)。未來(lái)，天翼云將繼續(xù)探索更多前沿AI技術(shù)路徑，為廣大開(kāi)發(fā)者和用戶(hù)提供更優(yōu)質(zhì)、更具性?xún)r(jià)比的模型服務(wù)，推動(dòng)AI應(yīng)用普惠化，共筑數(shù)字中國(guó)的智慧未來(lái)。 |
