英特尔至强处理器发力AI推理市场

安撕家 191 0

市场焦点短期内可能集中在大型通用模型上,但AI更广阔的应用空间在推理场景。英特尔市场营销集团副总裁梁雅莉表示,未来推理将成为“大模型下半场”。

英特尔至强处理器发力AI推理市场-第1张图片-腾赚网

当前国内大模型厂商算力成本七成用于训练端,未来推理需求将是训练的5到10倍。芯片巨头英特尔的新品至强系列瞄准推理市场,带动多家服务器厂商新品密集上市,国内数据中心将迎来新发展阶段。

新华三集团刘宏程指出,AI应用中,用户最关心的是推理环节的性能。通用模型需结合企业数据微调,以满足特定需求。业内人士普遍认为算力需求将持续增长,推理市场潜力巨大。

英特尔最新至强6性能核处理器大幅提升推理性能,适用于10B模型推理。该处理器采用分离式模块化设计,支持高速内存和通道,性能显著提升。与第五代相比,针对Llama2和Llama3模型,单颗CPU性能分别提升3.08倍和2.40倍。

融合架构更符合企业私有化微调和推理需求,投资回报率更高。超聚变朱勇表示,基于通用场景的CPU推理可实现“一芯多用”,降低总体拥有成本。浪潮信息、超聚变、新华三等厂商基于至强6处理器的服务器新品将陆续上市。

抱歉,评论功能暂时关闭!