10月29日那天, 新芯航速的老总李宗霖, 在开了一场发布会, 然后正式就把X7 Ultra这个是大模型芯片的东西给发布了出来。
这个东西是干嘛的呢, 它能把装在车上的那个模型的参数量, 一下子提升到以前的10倍那么多。这么一来,直接就把国内那种用在车上的AI芯片所能算力的最高限度给改写了龙南市就业服务平台, 所以整个行业都非常关注。
01.超大核NPU架构重塑数据交互
X7 Ultra采用了超大核NPU的架构设计, 让核内数据交互取代传统的核间交互, 使得互联速率跃升至TB/s的数量级, 从而从根本上解决了多核协同时存在的数据瓶颈问题。
这个架构配备了一个多级缓存的系统, 支持大容量并且能够处理高并发这种情况, 这样一来就在降低推理延迟的同时把功耗显著地压缩了, 这更加贴合车辆端在七乘以二十四小时持续运行的时候所面临的那些工程方面的约束。
02.大模型专用算子引擎硬件优化
该芯片在内部安装了专门用于加速高精度大模型计算的操作引擎, 并且针对像是Layernorm、Softmax、Transpose这些属于Transformer核心的操作单元, 一个一个地去进行了极致的硬件层面的优化, 这样一来, 推理的路径就得到大幅度的缩短。
引擎本身就能够直接支持用FP16以及FP32来进行高一些的精度的向量计算, 在用户去追求推理速度这个方面能够做到很好, 同时在有效避免精度损失的同时, 来保障最终模型输出的质量。
03.计算利用率98.7%能效翻倍
新芯航途官方给出了相关的数据。数据显示, X7 Ultra这款设备的NPU硬件具备很充分的并行能力。这种能力可以充分释放大模型推理阶段的潜在能量。相关的计算资源利用水平达到了百分之九十八点七。这个数值已经非常接近理论上的最高峰值了。
跟行业内那些所谓的旗舰产品进行相互对比观察, 可以发现X7 Ultra在内存带宽消耗这方面出现了百分之八十的大幅下降现象, 与此同时, 其整体能效得到了百分之百程度的提升, 这种变化所直接带来的结果是, 在实际使用功率保持不变的基本条件下, 系统具备了运行更加宏大模型的能力空间, 进而使得车辆在终端部署过程中的总体成本获得了十分显著的降低幅度。
04.中国首发量产Armv9车规CPU
X7 Ultra同时实现中国首发量产Armv9车规级CPU, 性能较上代提升20%, 能效提升10%, 填补了国产高端车规CPU量产空白。
这个CPU里面集成了全新的SVE2向量处理引擎, DSP的性能要比上一代的NEON指令强大很多, 大集群这个架构在一定程度上进一步提升了多核之间的协同能力以及访存到L3的速度效率。
05.架构与工具链协同创新
通过芯片架构同配套工具链之间的协同创新, X7 Ultra支持的可部署模型参数量实现了10倍提升, 使得在车端芯片上面高效运行百亿级参数的大模型成为现实。
新芯航途同步地开放了开发工具包, 这样来降低车企以及算法团队在移植方面的门槛, 从而能够缩短大模型上车这一适配过程的时间周期。
06.车端AI算力格局或将改写
这次把X7 Ultra给发布了, 这回事儿的意思就是, 国产化在汽车上面用的大模型芯片, 算是正式挤进了高端算力那个梯队的里面。它这个方向是直接跟国际上的那些旗舰级的车规方案在对标, 所以说整个市场竞争的那个格局, 面临的就是一种重塑的变化样子。
现在, 智能驾驶还有座舱里的人工智能对算力的需求一直在不停地往上爬。X7 Ultra这个产品量产之后落地了, 所以大模型装到车上的进度很有可能就会出现很明显的加速现象。
人们都在问, 参数量提了十倍之后, 大模型会不会先把智驾的场景给跑通顺, 还是说会先去搞座舱那边的应用? 大家都在评论区里等着交流看法。要是有人觉得这些内容是有用的, 那么请记得去点个赞, 并且进行分享操作。
