会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 腾讯吐露最新大模子磨炼措施,可节约50%算力老本!

腾讯吐露最新大模子磨炼措施,可节约50%算力老本

时间:2025-03-17 10:42:45 来源:宏强baby网 作者:知识 阅读:560次

21世纪经济报道记者白杨 北京报道

随着大模子时期到来,腾讯吐露模子参数呈指数级削减,最新已经抵达万亿级别 。大模与此同时,磨炼大模子也逐渐从反对于繁多模态、措施繁多使命睁开为反对于多种模态下的可节多种使命。

在这种趋向下 ,约算大模子磨炼所需算力重大,力老远超单个芯片的腾讯吐露处置速率 ,而多卡扩散式磨炼通讯斲丧重大 。最新若何后退硬件资源运用率 ,大模成为影响国产大模子技术睁开以及适用性的磨炼紧张条件。

在此布景下,措施腾讯于11月23日宣告 ,可节腾讯混元大模子眼前的约算自研机械学习框架Angel再次降级,可将大模子磨炼功能提升至主流开源框架的2.6倍,千亿级大模子磨炼可节约50%算力老本 。

Angel能耐提升眼前  ,是基于磨炼框架以及推理框架的迭代。据悉 ,面向大模子磨炼 ,腾讯自研了机械学习磨炼框架AngelPTM ,可针对于预磨炼、模子精调以及强化学习等全流程妨碍减速以及优化 ,可能以更少的资源以及更快的速率磨炼更大的模子。

而为了处置推理老本的不断回升 ,腾讯自研的大模子推理框架AngelHCF经由扩展并行能耐 、接管多种Attention优化策略等方式对于功能妨碍了提升。同时,框架还适配了多种缩短算法,之后退吞吐能耐,从而实现更快的推理功能以及更低的老本。

实测数据展现 ,相较于业界主流框架 ,AngelHCF的推理速率后退了1.3倍 。在腾讯混元大模子文生图的运用中,推理耗时从原有的10秒延迟至3-4秒。

此外,降级后的Angel还提供了从模子研发到运用落地的一站式平台,搜罗数据处置 、精调 、模子评估、一键部署以及揭示词调下等效率,让大模子的“开箱即用”成为可能 。

据介绍 ,在运用开拓层面 ,腾讯外部已经有逾越300项营业以及运用途景接入腾讯混元大模子内测 ,比照上个月数目翻了一倍。

(作者 :白杨 编纂 :骆一帆)

(责任编辑:时尚)

推荐内容
  • 浙江队5人遭禁赛!亚足联公布亚冠罚单,武里南造冲突者逃过处罚又一领土回归中国版图,面积4.7平方千米,五处竖界碑宣告主权
  • 掘金新兴市场,跨境电商平台齐聚佛山寻找“出海”更优解官方出手调查宋祖儿,黑历史一箩筐的她,才不像表面上那么傻白甜
  • 高铁超载!触发警报!无奈发车!
  • 无头MacBookPro+爵士华为办公?靠不靠谱女子怀孕12月未生产,肚重60公斤惨遭丈夫抛弃,医生:还能挽救
  • 0-3=出线!中超亚军拒绝爆冷,亚冠PK日本第2,13分稳拿第1
  • 警方传递女子以女性口吻伪造“中秋节公公收礼”:系博眼球伪造 已经行拘