计算机行业大模型专题报告：多模态引领新篇章.pdf

上传者：A*****
时间：2023/12/18
热度：624
0人点赞
举报

计算机行业大模型专题报告：多模态引领新篇章。大模型概述：具备强大生成能力，训练趋于标准化。通用大模型追求高泛化能力，可以高质量完成自然语言理解和生成任务。大模型训练流程趋于标准化，大致可分为通用能力培养和行业能力提升两大阶段，其中通用能力培养阶段主要包括无监督预训练、价值观对齐等核心步骤，行业能力提升阶段主要包括监督微调、行业数据预训练、模型偏好对齐等步骤。当前海外通用大模型主要有 OpenAI 的 GPT-4、谷歌的 Gemini、Anthropic 的 Claude 2、Meta 的 Llama 2 等。

大模型技术：形成三大技术路线，GPT 路线得到认可。Transformer 引入自注意力机制，彻底解决了远距离信息丢失和并行计算效率的问题。基于底层 Transformer，模型形成编码器、解码器、编码器-解码器三大主流技术路线， OpenAI 的 GPT 模型采用解码器路线，得到广泛关注和认可，最新的 GPT-4 模型在环境科学、历史、生物等高文本量的学科中取得前 10%的成绩，引领行业发展。但当前大模型和通用人工智能在通用性、认知能力、工具能力、多模态协同等方面仍有较大差距，技术具备较大发展潜力。

多模态：视觉能力为核心，能力升级带动应用落地。多模态主要包括视觉和语音，其中视觉能力对模型感知能力和应用开发潜力提升具有重要价值，成为当前多模态大模型发展的核心方向。多模态能力打开模型学习空间，突破文本对模型训练的限制，在高质量文本数据规模年化增速不及 5%的情况下，保障模型规模高速增长。语音能力方面，大模型可以利用 STT+TTS+GPT 模式快速实现语音对话，整体技术成熟度较高，门槛相对较低。视觉能力方面，视觉理解领域主要形成模块化和一体化两大路线，其中模块化设计灵活度更高并具备更高性价比，而一体化（原生）架构下模型多模态融合能力更突出。视觉生成领域，主要利用扩散模型实现图片和视频生成，底层技术来看，图像和视频生成技术具有一致性。大模型视觉理解和生成能力提升，有望重塑部分行业，带动全新应用落地。其他模态上，代码大模型快速发展，国内外厂商加速布局，国内厂商位于行业第一梯队。短期来看，海外高质量源生多模态大模型技术和商业化进程高速推进，国产多模态大模型有望加速追赶，推动行业保持高速发展。