云天励飞自研芯片与高性能算力结合，携手德元方惠构建AI算力生态新蓝图

2024/6/7 17:20:49 企业供稿

6月6日,云天励飞发布公告,公司与德元方惠签署《AI算力运营合作框架协议》。德元方惠将向云天励飞购买AI训练及推理异构算力服务,总算力规模约4000PFLOPS,该协议预计在未来三年服务期内为云天励飞贡献约16亿的营收。

奠定未来的业绩基础

作为国内领先的人工智能公司,云天励飞一直积极建设算力基座,并且对外提供算力运营服务。今年3月,云天励飞在发布会上公布了“1+3”业务布局,即基于1个算法芯片化平台,打造三大方向业务——AI方案、AI运营、AI产品。本次与德元方惠签署战略合作协议,是公司AI运营业务的一大突破,并在未来3年为公司带来16亿营收,奠定未来的业绩增长基础。

将大模型研发经验注入算力运营服务

去年,云天励飞正式推出自研千亿级大模型“云天天书”。“云天天书”系列模型架构包含通用大模型、行业大模型、场景大模型三个层级。云天励飞基于算法芯片化平台,并通过海量高质量数据预训练生产通用大模型;在通用大模型基础上,引入高质量行业数据,生产行业大模型;再在行业大模型基础上,通过细分场景数据微调研发场景大模型。“云天天书”在C-Eval、CMMLU等权威测试中多次获得第一,并正式通过中央网信办备案。

在大模型研发过程中,公司积累了一系列异构算力组合、算力调优、提升模型训练效率的技术平台和相应工具,包括智能算力集群管理平台、AI大模型开发服务平台等,可提供数据管理、数据标注、模型发布、模型测评等功能模块。云天励飞将上述技术沉淀在AI算力服务中,可帮助客户提升模型训练及算力利用效率,帮助更多企业以更低成本训练大模型。

为自研芯片拓展广阔新天地

今年以来,大模型全面进入应用落地阶段,推理算力需求随之不断增长。根据IDC数据,预计到2026年中国数据中心用于推理的负载将达到62.2%。

云天励飞亦持续看好大模型进入成熟商业化阶段后推理需求,并在推理算力领域进行战略部署。

去年底,公司自研的神经网络处理器NNP400T的DeepEdge 10 正式发布,可广泛应用于AIoT边缘视频、移动机器人等场景,目前已在智慧交通、清洁机器人等领域进行应用。此外,依托创新的D2D chiplet架构打造的推理卡已适配SAM CV大模型、Llama2、通义千问等国内外开源大模型,可承载大模型应用落地的大规模推理计算。

推理算力需求将随着大模型使用时间和用户量的增长而快速增加,因此在大模型进入成熟商业化阶段之后将迎来需求爆发。公司所搭建超大规模异构高性能算力集群将其自研推理卡与高性能训练算力相结合,为客户提供高效的训推一体算力服务,同时为自研推理卡落地打开场景触角,搭建生态,为大模型进入成熟商业化阶段后的推理需求爆发提前布局。

此外,公司也持续投入自研大模型研发及优化工作,预计将维持较高对AI训练及推理异构算力的需求,此次《合作框架协议》项下涉及对于高性能异构算力的采购,未来亦可视需要作为公司大模型研发工作所需算力基础的补充,支撑公司大模型技术的持续进步。

未来,云天励飞亦可在超大规模异构高性能算力集群中,将自研推理卡与高性能训练算力相结合,为自研推理卡落地打开场景触角,搭建生态,为行业带来更丰富的算力服务。

云天励飞