开心激情亚洲四日韩一区电影在线|亚洲五码视频观看精品亚洲日韩中文|久久久久国产区亚洲爆乳一区二区|亚洲人成777先锋影音一区二区|免费一级无吗毛片丁香五月婷婷色播|校园春色亚洲67194AV|蝌蚪窝综合国产国产AV无乱码|天天综合性网亚洲华人一区

證券時報e公司訊，隨著模型規(guī)模的擴(kuò)大，推理成本和訪存效率已成為限制大模型規(guī)模應(yīng)用的關(guān)鍵瓶頸。近期，字節(jié)跳動豆包大模型團(tuán)隊提出了全新的稀疏模型架構(gòu)UltraMem，該架構(gòu)有效解決了MoE推理時高額的訪存問題，推理速度較MoE架構(gòu)提升2—6倍，推理成本最高可降低83%。該研究還揭示了新架構(gòu)的Scaling Law，證明其不僅具備優(yōu)異的Scaling特性，更在性能上超越了MoE。實驗結(jié)果表明，訓(xùn)練規(guī)模達(dá)2000萬value的UltraMem模型，在同等計算資源下，可同時實現(xiàn)業(yè)界領(lǐng)先的推理速度和模型性能，為構(gòu)建數(shù)十億規(guī)模value或expert開辟了新路徑。