今天共享的是：谢春宇：多模态大模子：怒放天下清楚(1)

敷陈打算：49页

该文档主要围绕360多模态大模子张开，包括其在图文多模态限制的探索、业务落地履行以及对将来发展的臆测。

1. 多模态大模子配景与发展

- ChatGPT发布激动AI发展，GPT - 4加多视觉模态输入，视觉智商对AGI至关蹙迫。视觉 - 讲话跨模态学习开启CV多模态掂量大模子时间，如CLIP等职责。

- 图文多模态大模子LMM旨在处分纯文本LLM残障，掂量蹊径分原生多模态和单模态巨匠模子缝合蹊径，各有优劣，大都企业和机构选拔缝合蹊径。

- LMM研发阅历三代，第一代得当模态对皆考据，第二代加多谋规矩位智商，第三代需处分高分歧率输入、图文模态竞争和多模态Scaling Law等问题。

2. 360多模态大模子探索与履行

- 360的SEEChat风物基于单模态巨匠缝合决策，将视觉智商与LLM交融，打造多模态讲话模子，具备Dialogue、Captioning、OVD等智商，后升级为360VL。

- 360VL在通用智商方面推崇出色，如准确描摹图像、清楚漫画梗图；在业务落地履行中，诈欺于360智能硬件（儿童腕表拍照学英文）、图像标签化（安防视频监控等）、怒放天下规划检测、安防视频自动化巡检以及视觉云SaaS平台（连锁巡店等场景）。

3. 将来臆测

多模态LMM发展马上，将来将成为NLP和CV交融后的大模子，360VL以怒放天下清楚为中枢智商，将对办公自动化、机器东谈主具身智能、自动驾驶等限制产生蹙迫影响。

以下为敷陈节选践诺