中文
下载App
关注我们
  • Facebook
  • YouTube
  • Instagram
  • TikTok
  • X
首页wiki多模态大模型

多模态大模型

2026-11-03 18:49:03

概念定义

多模态大模型是将文本、图像、视频、音频等不同模态的信息联合起来训练的人工智能模型。它把多种信息形式纳入同一训练体系,是人工智能技术发展的前沿方向之一,也被视为具身智能的“大脑”。

工作原理

多模态大模型的核心方式是联合训练。文本、图像、视频和音频等信息共同参与模型训练,使模型围绕多种信息形态建立处理能力。与只涉及一种信息形态的模型相比,多模态大模型的训练对象覆盖多类数据,技术重点也由单一模态扩展至多模态信息的共同利用。

技术构成

多模态大模型涉及的主要信息类型包括文本、图像、视频和音频。不同模态构成模型训练的信息基础,联合训练则把这些信息连接到同一模型体系之中。其所属行业为人工智能,技术形态属于模型。

应用场景

多模态大模型已被引入智能驾驶研究,相关模型包括DriveMLM和LM-Drive。智能驾驶环境同时涉及多种形式的信息,多模态大模型在这一领域作为研究模型使用。除智能驾驶外,这类模型也与具身智能的发展相关,并被视为具身智能系统中的核心智能基础。

技术演进

2023年,蚂蚁集团技术研发团队开始自研语言和多模态大模型“贞仪”。2025年,贾佳亚团队开发出开源多模态基础模型DreamOmni2。2026年3月,多项相关技术进展集中发布,包括“3DThinker”技术、“DeepImageSearch”、Genie 3平台、“Fun-CineForge”模型、“炎黄”模型及“MANSION”框架。

同一时期,智源研究院的FlagOS软件栈完成端到端训练全要素验证;清华大学与西安交通大学联合开源统一多模态大模型Cheers;美团发布并全面开源原生多模态大模型LongCat-Next。这些项目涵盖基础模型、原生多模态模型、统一模型、软件栈和技术框架等不同技术形态。

意见反馈