华为发布AI推理创新技术UCM：实现高吞吐、低时延推理体验，降低每Token推理成本
发布时间：2025-08-21 09:38:22 作者：玩站小弟 
我要评论
我要评论新浪科技讯 8月12日下午消息，在2025金融AI推理应用落地与发展论坛上，华为联合中国银联共同发布AI推理创新技术UCM推理记忆数据管理器），实现高吞吐、低时延的推理体验。在当今数字化时代，AI发展
。
新浪科技讯 8月12日下午消息，发布在2025金融AI推理应用落地与发展论坛上，推理吞吐n推华为联合中国银联共同发布AI推理创新技术UCM（推理记忆数据管理器），创新实现高吞吐、技术低时延的现高推理体验。
在当今数字化时代，低时低AI发展日新月异。延推验降大模型训练的理体理成热潮尚未消退，AI推理体验却已悄然成为AI应用的发布关键。中信建投在2025WAIC期间发布的推理吞吐n推白皮书指出，AI正从训练向推理的创新结构性转变而快速增长。在这样的技术大背景下，AI推理体验的现高重要性愈发凸显。
推理体验直接关系到用户与AI交互时的低时低感受，包括回答问题的延推验降时延、答案的准确度以及复杂上下文的推理能力等方面。资料显示，国外主流模型的单用户输出速度已进入200 Tokens/s区间（时延5ms），而我国普遍小于60Tokens/s（时延50 - 100ms），如何解决推理效率与用户体验的难题迫在眉睫。
据介绍，华为此次发布的AI推理创新技术UCM（推理记忆数据管理器），作为一款以KV Cache为中心的推理加速套件，其融合了多类型缓存加速算法工具，分级管理推理过程中产生的KV Cache记忆数据，扩大推理上下文窗口，以实现高吞吐、低时延的推理体验，降低每Token推理成本。
海量资讯、精准解读，尽在新浪财经APP 责任编辑：郭栩彤
相关文章
【独家签约小说：星穹铁道：我在仙舟开发手游】林语穿越到了星铁的世界。他获得了神级手游打造系统，第一部开发的手游便是《崩坏：星穹铁道》。很快，他的游戏便引发了全宇宙的关注。当玩家进度来到可可利亚boss2025-08-21
中奖彩票7月17日，中国福利彩票双色球第2025081期开奖，当期全国中出6注一等奖，其中1注花落珠海市香洲区前山岱山路鑫洲花园44030806福彩销售站点。中奖彩票是一张单倍“9+2”复式彩票，共中2025-08-21
上海市应昌期围棋教育基金会理事长单霞丽，上海市应昌期围棋教育基金会秘书长吕文珍，新加坡围棋协会会长陈丁川，新加坡围棋协会副会长席宏伟博士、温鸿威博士、唐小松博士，新加坡国立大学学生事务处处长何汉杰教授2025-08-21
“手谈云南，弈结金兰。”8 月 8 日至 11 日，2025 云南第二届东盟智力运动会将在昆明拉开帷幕。届时，来自中国和东盟各国的近 300 位围棋爱好者将齐聚一堂，以棋会友，共话深厚情谊。著名女棋手2025-08-21
跨界联动！漫威电影《神奇4侠》冠名2025FE电动方程式伦敦站
该比赛将正式命名为“漫威神奇4侠2025FE电动方程式伦敦站”。 7月26-27日，FE电动方程式的赛季收官战在伦敦东部的世界级展览中心——ExC2025-08-21
本次围棋比赛采用别具一格的赛制，首盘采用乐弈开场，预先摆放黑白各两子，这种创新的方式为棋局增添了更多的不确定性和趣味性，也让比赛的观赏性大幅提升。比赛于上午 11 点准时拉开帷幕，上午场从 11：002025-08-21
最新评论