英特尔Gaudi2处理器发布，针对中国市场，可为大语言模型提供推理性能
分类: 最新资讯
网名词典
编辑 : 网名大全
发布 : 07-12
阅读 :90
【科技7月11日报道】英特尔AI产品战略暨Gaudi2新品发布会今日在京举行。会上，英特尔正式于中国市场推出第二代Gaudi深度学习加速器——Habana Gaudi2。据介绍，Gaudi2深度学习加速器暨Gaudi2夹层卡HL-225B，以第一代Gaudi高性能架构为基础，具备：24个可编程Tensor处理器核心（TPCs）， 21个100Gbps（RoCEv2）以太网接口， 96GB HBM2E内存容量，2.4TB/秒的总内存带宽， 48MB片上SRAM，成多媒体处理引擎。据悉，Gaudi2加速器的性能在6月公布的MLCommons MLPerf基准测试1中得到了认证。此外，Gaudi2可为大规模的多模态和语言模型提供推理性能。在最近的Hugging Face评估中，其在大规模推理方面，可以支持运行Stable Diffusion2、70亿以及1760亿参数BLOOMz3模型。在Stable Diffusion训练上，Gaudi2展示了从1张卡至64张卡近线性99%的扩展性。据资料显示，Gaudi2深度学习加速器的架构旨在高效扩展，以满足大规模语言模型及生成式AI模型的需求。其每张芯片集成了21个专用于内部互联的100Gbps（RoCEv2 RDMA）以太网接口，从而实现低延迟服务器内扩展。目前，英特尔正与浪潮信息合作，打造并发售基于Gaudi2深度学习加速器的浪潮信息AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B，同时包含双路第四代英特尔至强可扩展处理器。（李姝）
