大模型的潜力转化为实际业务效益的过 程，充满了诸多挑战。
IDC调研显示，算力成本、隐形的机会成本、投资回报的长周期以及不足的人才 储备是企业落地大模型遇到的第一道难题，具体包括：
算力成本：算力资源的消耗是当下阻碍AI大模型落地的最主要因素，这一成 本对不少企业的财务状况构成了较大的压力。调研数据显示，92%的企业认 为在大模型工程化落地阶段，缺少算力资源是最大的挑战；细分来看，89% 的高管认为模型训练成本高，81%的高管认为模型推理成本高。对比而言， 模型的调优成本已经相对低价，仅有35%的企业认为模型调优（Fine-tuning/Prompt）成本高。这些成本无疑是企业财务投入的重要考量点，使得企 业在做出是否引入大模型的相关决策时显得犹豫不决，不得不权衡预算和投 资回报之间的比重。
选择错误下的机会成本：机会成本，虽然并非直接的经济支出，但它同样是 企业在是否引入大模型决策时不可忽视的成本之一。它代表了企业为了选择 某一方案而放弃的、可能是更佳替代方案的价值。尤其在瞬息万变的市场环 境中，企业抓住机遇的时间窗口极为有限；一旦错失或在大模型初始的选择 时对其性能、适配度、应用能力等方面欠考虑，企业可能面临巨大的机会成 本，甚至可能要承受数倍的额外负担，如后期不得不进行的模型切换、基础 设施的改造升级等。
实际与预期回报仍有差距：根据IDC的调研，虽然企业对AI大模型项目抱有 极高的期望，普遍期待能够实现1-3倍的投资回报率（ROI），但现实情况 却与这些美好愿景有所偏差。目前，大多数企业观察到的投资回报实际上低 于50%，这一数据与其对大模型的高度关注和前期投资预期形成了较大的落 差。面对这样的现状，企业在投入AI大模型项目时，普遍较为审慎，且在内 部投资决策时受到较大的阻力。
多方面人才积累不足：目前多数企业在AI人才方面的储备尚显不足。企业落 地大模型不仅亟需专业的大模型开发人才，还需要具备算法优化、数据处 理、计算能力、测试验证等技能的实用型人才。由于AI大模型的全方位开发 人才难以在短期内迅速积累，企业在探索和实施大模型应用的过程中，内部 人才不足，而外部招聘难觅懂自身业务又了解大模型落地的专业人才，使得 落地受阻。
部分场景下模型效果接受度低：87%的企业认为模型精度还不能满足落地要 求，无法衡量具体效果；具体表现在涉及用户信息、面向生产和决策的任务 中，对模型的逻辑推理、任务执行要求更高，而当前大模型的泛化性使得企 业在模型优化上面临更大的挑战。
大模型选型困难：在模型的选择方面，IDC调研显示，62%的企业认为市场 上模型选择太多，缺乏选择的标准和评判依据。企业通常参考模型准确率排 行榜、社区口碑推荐来选择模型，并自行搭建内部业务数据测试集来简单评 测效果，而这一过程又缺少完整、科学、丰富的评估体系和标准。 通用模型能力与专业需求不匹配：IDC调研显示，50%的企业认为模型能力 与业务需求不匹配，原因是通用大模型无法满足专有场景的需求。 模型上线性能难以保证：正式上线后的服务响应时间、稳定性、并发数、高 吞吐、可扩展性往往不可预测，而这些正是企业最关心的问题。
效果调优路径多、执行难：59%的企业认为模型调优（Prompt Engineering/Fine-tuning）是大模型开发中投入最多且挑战更大的工作之一。由于 模型优化方式、路径、调整程度选择多样且企业缺少足够经验和技术支撑， 导致该过程复杂且耗时，使得经验欠缺的企业在执行过程中面临众多困难。 分裂的开发环节造成事倍功半：企业在实施大模型的落地过程中，涉及从开 发到部署的多个复杂步骤，包括但不限于二次训练、数据管理、参数优化、效果精细调整、Prompt工程、RAG（检索增强生成）、生态插件集成、模 型性能评估、模型剪枝与蒸馏、模型维护管理以及算力资源调度等十余个关 键环节，每个环节都涵盖了众多细致的工程化任务，对技术团队和开发人员 来说是一项复杂而繁琐的挑战。
没有稳定的数据底座则无法发挥最大价值：在推进大模型应用的过程中，数 据的作用至关重要。多模态数据的实时采集、处理、分析，以及确保数据的质 量、安全和有效管理，是企业在实施大模型时必须优先考虑的核心问题。IDC 调研显示，企业在数据资产管理、构建数据架构以及数据维护等方面遇到了不 少挑战。特别是在开发AI应用时，有68%的企业高管认为有必要对内部数据资 产进行整理，66%的高管期望建立如数据湖的支撑性架构，还有62%的高管 认为需要投入资源构建知识管理体系，并对数据进行清洗和标注。
缺少全周期安全可信方案：大模型服务拥有更长的链条，涉及全周期的数据 和模型管理、模型调优、使用交互、查询调用等，因此需要考虑为大模型搭 建专门的安全模块。 模型生成内容准确性和可解释性不足：8%的企业表示希望提高模型和数据 的可解释性，这需要大模型学习、链接关键业务信息，并在模型微调提高精 度的同时，确保关键信息不泄露、不被模型学习了解，以及数据不可随意被 查看和问询。
