kaiyun欧洲杯app(官方)官方网站·IOS/安卓通用版/手机APP下载给模子测验和推理带来巨大挑战-kaiyun欧洲杯app(官方)官方网站·IOS/安卓通用版/手机APP下载

发布日期:2024-12-01 06:12    点击次数:134

kaiyun欧洲杯app(官方)官方网站·IOS/安卓通用版/手机APP下载给模子测验和推理带来巨大挑战-kaiyun欧洲杯app(官方)官方网站·IOS/安卓通用版/手机APP下载

11月19日,2024年天下互联网大会率先科技奖在乌镇发布,腾讯Angel机器学习平台荣获今年度率先科技奖。据腾讯方面先容,腾讯Angel 机器学习平台仍是打破了万亿级模子散播式测验和推理以及大鸿沟期骗部署等坚苦,率先达成大模子技艺从底层硬件到重要软件技艺的自主研发,在业务场景无为期骗,显贵激动实体产业和数字经济发展,擢升社会着力。

据南边+记者了解到,今年度天下互联网大会率先科技奖共有20个具有外洋代表性的格式获奖,举座入选率仅为7.4%,涵盖类脑谋划、具身智能、6G、大数据、高性能芯片、AI机器学习平台等前沿领域。

腾讯公司副总裁蒋杰

腾讯公司副总裁蒋杰现场暗意,赢得本次天下互联网大会率先科技奖,是对腾讯在大模子联系自研技艺的认同。在大模子时期,模子参数卓越万亿,测验数据卓越十万亿,如斯广博的鸿沟,给模子测验和推理带来巨大挑战,腾讯全链路自研的Angel机器学习平台灵验应付这些挑战,达成多个方面的性能着力擢升。改日,腾讯也将赓续参加底层技艺自主研发,并通过开源分享,激动技艺变嫌升级,让智能技艺走入千行百业。

据先容,腾讯 Angel 机器学习平台针对万亿鸿沟大模子散播式测验和推理、期骗部署难的挑战,在相聚互联、框架着力、平台鸿沟三方面达成了打破。

在通讯方面,从网卡到交换机,再到路由条约,腾讯自研的RDMA相聚达成了集群高速互联,单节点带宽达到3.2T,比较于同类率先产物,性能擢升30%,本钱缩短70%。

在着力方面,自研了测验/推理框架,建议显存加主存的一体化机制,达成多维并行和算子优化,比较开源框架,测验性能擢升2.6倍,推理速率擢升2.3倍。

在鸿沟方面, 达成了单任务万卡的线性推广,GPU集群加快比从50%擢升到99%。

算作智能时期的基础法子,凭借塌实的技艺蕴蓄,腾讯Angel机器学习平台格式技艺摈弃此前也屡次登顶外洋巨擘领域榜单,赢得 20 余项外洋竞赛冠军。Angel 平台照旧中国首个从 Linux Foundation 毕业的顶级 AI 开源格式,被评为 2019 年度最受原谅中国开源软件,平台眩惑了繁密外部拓荒者和企业用户,促进了技艺的无为期骗和产业的协同发展。2024年3月,腾讯Angel机器学习平台还赢得了2023中国电子学会科技逾越一等奖。

腾讯基于 Angel 机器学习平台全链路自研的混元大模子,在中国繁密头部 AI 研发企业中率先领受搀杂大家模子 (MoE)结构,模子鸿沟打破万亿,处于中国大模子第一梯队。11月初,腾讯推出业界最大参数鸿沟的开源MoE模子混元Large,总参数目 389B,激活参数目 52B ,转折文长度高达256K,其测验和推理均基于腾讯Angel机器学习平台。

据先容,当今基于腾讯 Angel 机器学习平台,腾讯混元大模子仍是构建了从0.5B到70B不同尺寸的通用模子和领域模子,涵盖了言语模子、多模态交融模子和多模态生成模子等。这些模子已被期骗在卓越700个腾讯业务场景,展现了其强盛的期骗后劲和价值。对外,Angel 平台通过腾讯云输出,无为期骗在大模子、告白、推选、酬酢、金融等领域,处事30万行业客户,助力实体行业进行数智化升级。

南边+记者  叶丹