文章来源:
安撕家
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 wulanwray@foxmail.com 举报,一经查实,本站将立刻删除。
市场焦点短期内可能集中在大型通用模型上,但AI更广阔的应用空间在推理场景。英特尔市场营销集团副总裁梁雅莉表示,未来推理将成为“大模型下半场”。
当前国内大模型厂商算力成本七成用于训练端,未来推理需求将是训练的5到10倍。芯片巨头英特尔的新品至强系列瞄准推理市场,带动多家服务器厂商新品密集上市,国内数据中心将迎来新发展阶段。
新华三集团刘宏程指出,AI应用中,用户最关心的是推理环节的性能。通用模型需结合企业数据微调,以满足特定需求。业内人士普遍认为算力需求将持续增长,推理市场潜力巨大。
英特尔最新至强6性能核处理器大幅提升推理性能,适用于10B模型推理。该处理器采用分离式模块化设计,支持高速内存和通道,性能显著提升。与第五代相比,针对Llama2和Llama3模型,单颗CPU性能分别提升3.08倍和2.40倍。
融合架构更符合企业私有化微调和推理需求,投资回报率更高。超聚变朱勇表示,基于通用场景的CPU推理可实现“一芯多用”,降低总体拥有成本。浪潮信息、超聚变、新华三等厂商基于至强6处理器的服务器新品将陆续上市。
抱歉,评论功能暂时关闭!