MiniMax副总裁分享多模态大模型发展新方向

2月21日至23日，2025全球开发者先锋大会在上海召开。MiniMax副总裁刘华在会上分享了多模态大模型发展的见解。自2017年Transformer架构出现后，它推动了大语言模型的发展。但如今，随着任务长度增加，算力消耗呈平方级增长，这一架构遇到了瓶颈。例如，处理100个token的任务时算力消耗为一定值，而处理10000个token时，算力消耗需增至一万倍。因此，降低算力消耗并处理超长文本，需要研发新的底层架构。

刘华认为，大模型正快速发展，如OpenAI推出的Sora、GPT4o等展示了视频、语音模型的新能力，预示着未来两三年内技术突破可期。新一代语音模型将具备情绪表达能力，能即时对话、支持打断并开启新对话。此外，推理阶段也出现了scaling law，Transformer基础架构革新，合成数据技术和多模态模型技术不断涌现，这些都表明大模型将迎来飞速发展。未来，MiniMax将打造多种模态的开源生态，在稀疏架构、线性注意力机制或非Transformer架构上发力。