博亚体育 平头哥发布首款智能网卡「磐脉 920」,补都 AI 算力终末一块短板
作家|苏子华
裁剪|郑玄
最近两年,AI 行业最热的词一直绕不开「算力」。
从大模子覆按,到本年 Agent 的火热,再到各家云厂商不停扩建智算中心,行业征询最多的,实在都是 GPU、芯片和算力界限。无意只须卡够多,AI 就能持续往前跑。
但履行并不是。
不少作念大模子覆按和推理的东说念主,也曾越来越彰着地感受到另一层问题:机器越来越贵,GPU 越来越强,但模子覆按和推理的效果,却莫得同步擢升。
问题不一定出在算力自己,而可能出在另一件恒久被疏远的事情上——网力。
平头哥居品总监李旭慧打了个譬如:「要是把算力比作 AI 时间的石油,网力即是输油管说念。算力提供能源,网力保险效果。」
4 月 28 日,在数字中国诞生峰会上,平头哥发布首款智能网卡磐脉 920。这是国内首个内置 PCIe Switch 的 400G 智能网卡,最大撑抓 400Gbps 费解带宽,可应用于万卡智算集群、通算集群和高性能存储等场景,目下也曾量产,并将率先部署在阿里云数据中心。

磐脉 920 想要贬责的即是「网力」问题。
今天的大模子覆按,一个覆按任务,时时需要几千致使上万张 GPU 同期谐和。单张 GPU 性能再强,也必须跟悉数这个词集群保抓同步。
问题在于,只须其中一部分节点慢下来,其他节点就只可恭候。他不雅察到,目下行业里好多万卡级智算集群,GPU 骨子诳骗率较低,「能作念到 60%,也曾算行业顶尖水平。」
当年行业更容易怜惜「有几许卡」,但骨子在 AI 覆按场景中,系统运行效果并不是由最强的硬件决定,而是受限于集群里最慢的阿谁节点。「跨越节点的算力会抓续闲置恭候,形成大界限算力糜费。」
磐脉 920 的发布骨子上也指明了一个标的:当 GPU 也曾富饶强之后,下一步到底该补那边。
一张网卡,周转悉数这个词智算集群
当 AI 智能体驱动进入信得过业务场景,推理业务的占比越来越高。
「在 Agent 应用爆发的布景下,推理业务的增长速率显赫快于覆按。」李旭慧默示。
大模子覆按强调强同步,而推理靠近的是普遍突发、小包、高频肯求,对低时延和融会性的要求更高,乐鱼体育世界杯中国官网首页这也意味着对「网力」的要求更高。
而抽象一下磐脉 920 在作念的事,即是尽量减少整系统里的「堵」和「等」,通过网力的擢升来开释 AI 算力。
其背后的已毕旨趣,有三个要津。
领先是撑抓多旅途 RDMA,碎裂单一起径的局限。
平庸剖析,即是正本只可走一条高速,目下变成多条路同期分流。更要津的是,这些数据固然分开走,但最终还能按限定准确拼追念。
李旭慧讲授,磐脉 920 通过撑抓逐包喷洒、乱序收受和遴荐性重传,已毕 RDMA 多旅途。
从扫尾来看,这套决议带来的改善相比获胜。
按照官方实测,磐脉 920 撑抓单 QP 打满 400G 带宽,而同类主流居品带宽梗概唯有其一半。同期,多旅途智商不错把交换机端口缓冲区水线捏造 90%,减少丢包和重传。
第二个要津筹备打算,是把「绕路」变成「直连」。
磐脉 920 最大的亮点之一,是内置 PCIe Switch。这亦然国内首个作念到这少许的 400G 智能网卡。
传统事业器架构里,博亚体育PCIe Switch 渊博部署在主板上,数据需要绕多个节点转发。扫尾即是,有的旅途长,有的旅途短,时延不一致。
关于需要高度同步的 AI 覆按任务来说,这种「不整都」会获胜影响效果。
李旭慧打了个譬如:传统架构里,时时会出现「四个下行通说念挤一个上行通说念」的情况。
这很像四条岔路同期汇入一条骨干说念,堵塞实在不能幸免。
磐脉 920 把 PCIe Switch 获胜集成进芯片里面,让网卡与 CPU、GPU 形成更获胜的承接筹划。
少绕路,意味着更低时延;旅途更调理,则意味着更融会的同步效果。
凭据平头哥实测,在换取集群界限和任务条目下,部署磐脉 920 后,大模子覆按和推理任务完成时刻可捏造 14%。
第三个要津,是让收集具备我方判断的智商。
传统网卡更多像搬运工。收到数据,搬当年,仅此辛劳。
据了解,磐脉 920 加入了细粒度收集感知和可编程拥塞摈弃智商。直白讲,即是它能主动避堵。让收集驱动从被迫传输,变成主动调节。
关于越来越复杂的 AI 集群来说,这种智商的垂危性会越来越彰着。
从这些筹备打算能看出来,磐脉 920 并不是在追求参数上的肤浅擢升,它作念的事情很求实,让也曾很贵的算力,少糜费少许,从而激勉最大的潜能。
为何是阿里在界说 AI 基础规范?
除了性能自己,磐脉 920 背后更值多礼贴的,是平头哥和阿里的举座布局。
当年几年,好多公司作念芯片,时时汇集在单一门径,比如 GPU、AI 加快卡或者 CPU。
但平头哥的念念路是作念全栈。
目下,平头哥也曾形成四条居品线:真武系列 AI 芯片、倚天事业器 CPU、镇岳存储主控芯片,以及此次发布的磐脉系列智能网卡。
对应的,恰好是数据中心里的几个要津门径:算力、存力和网力。
李旭慧在采访中默示:「单一芯片居品无法贬责全链路问题,唯有买通算力、存力、网力,本事最大化开释 AI 硬件性能。」
这亦然平头哥和好多单点芯片公司的分散。它不是只作念一块性能更强的芯片,而是试图从悉数这个词系统角度去看问题。
好多芯片公司作念居品,先作念出来,再去找客户和落地场景。
但平头哥不是。
李旭慧告诉极客公园,磐脉 920 立项之时 AI 智能体尚未成为行业焦点。但他们从阿里云自身业务中判断,改日 AI 一定会鼓吹数据中心收集智商升级。
「一线业务场景的骨子需求,是芯片手艺迭代与居品优化的中枢驱能源。」先有阿里云的大界限业务场景,再从骨子场景需求里倒推居品界说。
这即是磐脉 920 的买卖旅途。据露馅,和平头哥倚天、真武、镇岳系列芯片同样,它会先部署在阿里云数据中心。
从这个角度看,磐脉 920 的发布,自己即是阿里「通云哥」协同智商的一次体现。
通义防备模子,阿里云防备场景,平头哥防备底层硬件。模子需求鼓吹云基础规范升级,云场景又反向鼓吹芯片演进。
这种全栈自研的闭环,在国内科技公司里并未几见。「通云哥」的样式固然前期参加大、周期长,但一朝走通,护城河也极深。
AI 竞争走到今天,比拼的也曾不是单点智商,而是这一整套系统能否顺畅运转。
跟着 AI 越来越多从覆按走向推理博亚体育,模子、云与芯片之间形成的抓续反应轮回,举座上风的显现可能才刚刚驱动。
U体育(中国)官网入口