大模型业务落地能力建设分为几个阶段?

最佳答案 匿名用户编辑于2025/01/22 16:00

提前做好计划准备、扎实推进模型部署、持续优化迭代三大阶段对企业建设全方 位的大模型业务落地能力、实现AI转型至关重要。具体来看:

1.阶段一:计划准备阶段

首先明确初始意愿。企业高管在了解AI大模型解决方案时切忌盲目跟从技术潮 流,而是需要从企业整体的层面明确落地AI大模型的原始驱动力,分析与AI结合 的可能性、行动路线并做好预期收益的管理: 战略驱动:即企业可能没有明确的AI+场景落地计划,但考虑企业的发展环 境、行业趋势、竞争态势,有必要将大模型落地作为战略性规划的一环。从 战略布局出发,分析内外部发展环境,盘点企业内部资源和能力,制定场景 试点策略,制定筛选场景的标准和路径。 业务驱动:企业已经有了非常明确的业务场景,迫切地需要引入大模型的能 力来进行应用场景的改造,以实现降本增效、提升效率、优化体验等目标; 执行切实可行的业务分析策略,了解场景现状、预期目标、数据的就绪度、 梳理业务流程;深入探索业务场景结合点和需求程度,将大模型解决方案与 特定的业务环境、业务流程或业务需求紧密联系起来。

其次剖析目标任务,了解就绪度。在确定需求和目标后,从资源盘点、流程梳 理、能力自查三个方面来考虑并拆解目标,充分参考了解大模型落地所需的企业 资源投入,制定详细周密的时间和建设计划: 一是资源盘点,在最短时间内梳理内部资源,如数据资源、算力资源,并分 析资源整合的可能性和优先级,确定可为AI大模型的落地提供完备的后续支 撑;了解是否数据充足、治理水平如何、是否有大量未清洗数据、是否需要 外部购买数据、有无数据获取渠道、算力资源如何购买以及计费方式;

二是流程梳理,AI的搭建、应用并不是点对点的数据传输,在模型调优、模 型管理、查询调用、内容生成的过程中,均涉及企业、部门、团队内外的多 个组织方和参与方,只有明晰AI执行的过程方式,才可以更好地进行开发建 设和运营管理; 三是能力自查,大模型的建设需要大量专业人才和业务人才共同合作,因此 企业应重点考虑评估人才资源基础和经验知识储备,制定研发创新的人才投 入形式,是否需要低代码、轻量化的开发平台,以及是否需要外部合作来进 行定制化开发。

最后,搭建跨部门团队确保大模型落地的推进。大模型是对企业人员、市场、产 品、业务场景的赋能,不仅仅是“底座”“中台”等概念;其需求的提出和最终 实现均来源于使用方,而非仅靠数据部门、科技部门的采购开发就可以落地。企 业应充分获得高级管理者的支持,搭建跨部门协作团队,制定人、财、物资源的 管理和监管制度,确保资源的即时响应和快速供给,实现资源的有效整合和优化 配置,从而推动大模型在企业的深入融合和高效运行。

2.阶段二:模型部署阶段

模型部署是最核心的落地环节,将直接影响企业应用AI大模型的实现效果,因此 需要按照科学的路径进行开发建设。此过程包括如下重点步骤: 资源投入计划:明确开发AI大模型落地过程中所需要的专业人才、资金投 入、数据准备和管理,以及业务领域所需的知识经验; 模型选择:结合具体的需求从模型精度、效果、参数规模、场景匹配度来筛 选适合自身的模型; 效果预测:预测AI大模型上线后的实际效果,包括准确率、用户体验、响应 时间、TPM、RPM(TPM:Tokens Per Minute每分钟Tokens数量; RPM:Requests Per Minute每分钟请求数);

应用建设路径:规划AI大模型的建设周期、落地具体场景、覆盖使用广度、 垂直场景应用深度; 算力准备:考虑推理与计算成本和使用方式,以及购买的规模、服务的选择; 开发平台搭建:为AI大模型的应用率先搭建好底层开发平台,覆盖LLMOps 全流程,接入丰富的Agent工具链、API管理服务和数据引擎平台;可以重 点考虑提供低代码、全流程大模型开发能力的厂商; 模型接入方式:即考虑模型接入和部署应用的方式,包括云端接入、API管 理、线下部署;面向简易快速上线以及企业级、部门级应用定制化开发,挑 选可以提供多产品选择的服务; 效果调优:即提升模型效果使其更满足自身业务需求,主要可通过Prompt 工程、RAG增强检索生成、有监督调优、基于人类反馈优化等; 性能安全测试:即在模型上线前确保性能稳定和安全可信;应用上线:即考虑应用上线范围和管理,包括跨平台、系统部署、跨数据源 生成、多版本管理。

3.阶段三:迭代优化阶段

AI大模型在应用测试和效果评估后可正式上线,但这并不是整个流程的结束,企 业还应重点考虑模型的可成长性。随着使用量和使用方向的增多,应进一步开展 调优训练和知识管理,达到“越用越好”的效果。因此,模型的部署完成并非终 点,企业仍需持续关注并致力于大模型在三个关键层面的迭代与优化:智能体应 用效能的提升、跨业务领域的拓展应用,以及对企业整体战略规划的对内和对外 的影响: 智能体优化,即针对基于大模型的智能体的能力和水平的持续提升。 对于开发上线的AI智能体应用,企业可以持续提升模型的精度、改善用户体 验,例如通过AB测试评估调优后的效果,并针对在应用服务过程中遇到的工 具缺失、流程混乱、数据管理困难、场景需求升级等问题进行优化完善,以 保证其发挥最大的价值和效果。

业务扩展,即将已成功的基于大模型的应用扩展至相关或更复杂的业务领域 以挖掘更多的价值。 横向业务拓展:在实际应用AI大模型中,企业往往会首先选择1-2个易于 落地、急需改善的场景进行项目试点,当完成项目上线并评估可持续投资 后,可结合积累的技术、开发、流程、管理经验,共享同一套平台、工具 和资源,进一步将模型应用到其他场景中,服务不同的人员,打通、管理 更多的数据和实践经验。 纵向场景延伸:知识管理、对话问答、查询分析是AI大模型最先落地的 场景,随着模型的升级和应用需求的加深,企业应考虑将小范围、简单任 务扩展至多层次、复杂任务,打造可以同时满足多个任务的智能体,探 索、扩大大模型的服务深度和边界。

战略规划,即从企业整体的视角评估大模型部署落地后对企业整体竞争力的 改变,同时关注其对IT基础设施的影响。 持续关注企业对外的差异化竞争优势:当AI大模型应用上线后,企业应 重点考虑竞争环境,了解其他企业与AI的结合深度和布局计划,评估、 判断自身企业在当前和未来的竞争力和优势对比,从而制定、明确AI大 模型下一轮的投资和开发计划,以促进应用和产品的迭代,形成长期差异 化竞争优势。 对内关注企业整体数字化基础设施的能力:大模型上线后,企业IT基础设 施面临一系列的变化,包括计算资源需求、服务器负载、存储空间、数据 管理、安全性和隐私保护等。因而企业需要关注现有IT系统的升级和优 化,以确保大模型的高效运行。