全球开发者大会探讨大模型新架构

2月21日至23日，2025全球开发者先锋大会在上海召开。MiniMax副总裁刘华在会上深入探讨了多模态大模型的发展趋势。自2017年Transformer架构出现后，它极大推动了大语言模型的进步。但经过多年发展，这一架构面临瓶颈：处理任务时，任务长度与算力消耗呈平方关系增长。例如，从处理100个token的任务到处理10000个token的任务，算力消耗将增加一万倍。因此，要让大模型高效处理超长文本，必须研发新的底层架构。

刘华分享了对行业的三点认知。一是大模型正快速发展，OpenAI等公司推出的新型号展示了巨大潜力，未来两三年内有望实现更多技术突破。二是新一代语音模型将具备情绪表达能力，能进行即时对话并展现人类情感。三是推理阶段出现了Sscaling law现象，随着合成数据技术和多模态模型的涌现，大模型将迎来飞速发展。MiniMax计划打造多种模态的开源生态，在稀疏架构和非Transformer架构上发力，以适应未来的技术需求。