AIGC产业呈现创新发展态势。
纵观AIGC(生成式人工智能)产业的发展历程,大致可以分为三个阶段,即早期阶段、沉淀阶段和发展阶 段。AIGC的早期阶段可以追溯到20世纪50年代,人们开始探索如何利用人工智能(AI)技术来生成各种类型的 内容。然而,受制于当时的科技水平,AIGC的应用主要停留在实验室中。 20世纪90年代中期至21世纪10年代中期,AIGC发展进入沉淀阶段。这一阶段,AIGC多数是通过预先设定 的规则和算法来生成内容。例如,在自然语言处理领域中,研究人员尝试利用规则和语法知识来生成语句,实 现新闻稿件的自动化生成。同样地,由于规则和模板的缺陷,生成的内容往往缺乏个性化和创意性。
随着人工智能技术的进步和深度学习算法的发展,从21世纪10年代中期至今,AIGC进入了快速发展阶段, 其大规模应用逐渐成为现实,开始出现在新闻、广告、音乐、电影、游戏等多个领域中。生产的内容更加逼 真、富有创意和个性化。同时,一些新兴的技术框架,如生成对抗网络(GAN),也为AIGC产业的发展提供了 新的动力。2021年底,随着ChatGPT的崭露头角,AIGC进入了大规模爆发时代。ChatGPT的强大表现进一步证 明了AIGC技术在内容生成领域的巨大潜力,促使越来越多的企业和研究机构投入到AIGC产业中,助推AIGC全产 业链的成形,涵盖了数据层、算力层、算法/模型层和商业化应用层等多个环节。其中,产业链上游主要包括数 据提供、算法模型训练等环节,为AIGC提供基础支撑;中游则是AIGC技术提供商,他们专注于开发和优化AIGC 技术,为下游应用提供技术支持;下游则是各种AIGC应用场景,如媒体、娱乐、教育、广告等,这些领域正在 广泛采用AIGC技术,实现内容创作的智能化和高效化。
AIGC产业的发展不仅得益于人工智能技术的进步,与政府政策支持也是密不可分的。近五年来,政府出台 了一系列政策,鼓励人工智能技术的研发和应用,为AIGC产业的发展提供了良好的环境。

总的来看,国家各部委发布实施的各项政策主要集中在推动技术创新、规范行业发展和促进产业升级等方面, 而AIGC作为AI技术在内容生成领域的应用,其发展前景与国家关于AI的政策也必密不可分。强力政策的全面布局为 促进AIGC产业健康、可持续发展提供了强有力的保障,更好地提升数据要素在促进经济高质量发展中的贡献度。
AIGC的广泛应用使得数据处理的需求大幅增加。无论是生成文本、图像、视频,还是进行复杂的自然语言处 理和机器学习任务,都需要大量的计算资源和存储空间。以ChatGPT-3为例,共包含1750亿的参数量,单个检查点 文件大小约为2+TB。为了能够支撑这类大模型的训练,千卡甚至万卡的GPU并行计算快速发展。但是,仅关注GPU 集群的高性能计算能力以及GPU集群间的高速通信是不够的,若存储性能不足,会使整个过程I/O占比高,计算等 待I/O,降低GPU使用率,严重拖慢整体训练过程。因此,存储仍然是AIGC端到端的过程中不可忽略的关键因素。
目前,AIGC场景下存储主要以分布式存储和云存储为主。很多企业或者组织在面对高昂的基础设施成本, 选择使用云存储以存储AIGC的各类数据,特别是垂直行业的大模型构建,由于不需要大规模集群,更多的是选 择单一的云存储方式。但是AIGC作为一种能够自主生成新内容的智能系统,在其作业流程中涉及数据采集、准 备、训练、推理、归档不同阶段,在其应用中涵盖了从文本创作、图像生成到音乐和视频制作等多个领域,单 一的存储架构很难满足整个AIGC的存储需求。为了应对AIGC场景下带来的存储领域需求的挑战,国内外存储厂 商纷纷加大研发力度,竞相探索AIGC场景下的数据存储技术的最前沿。
聚焦于国际领先的Data Direct Networks(DDN)与国内某存储厂商,作为行业内的代表性企业,其在存储 技术创新方面分别展现出独特的优势。DDN作为全球领先的大数据存储供应商,其A3 I(Accelerated, Any-Scale AI)解决方案是专为AI和深度学习设计的,它针对数据密集型工作负载提供了前所未有的灵活性和 高性能。满足从大型企业、服务提供商、研究机构到政府机构的广泛需求,其优势主要体现在以下几个方面: 第一,并行架构的性能和效率。DDN的A3I解决方案采用真并行架构,确保在任何规模下都能提供高性能、高效 率、GPU利用率和存储容量;第二,全面的深度学习加速。A3I解决方案能够同时为所有工作负载提供实时加 速,确保数据密集型任务能够连续且高效地执行。第三,无缝部署和集成。A3I解决方案易于部署,是预配置、 即插即用的,为AI工作负载和GPU支持解决方案提供了最强大的扩展平台。第四,灵活的容量扩展。DDN的存 储平台提供了灵活的容量扩展选项,支持从少量TB到几十PB的扩展,满足不同企业的需求。
国内某存储厂商针对AIGC数据高并发、大容量、低时延的特性,将分布式存储技术作为研究重点。通过全局 文件系统(GFS)及高性能缓存机制,满足不同客户的差异化需求,其优势主要体现在以下几个方面:第一,高性 能与高效能。通过全闪化设计和高性能缓存机制,使得存储产品能够在高并发、低时延的环境下稳定运行,满足 AIGC对数据处理速度的极高要求。第二,大容量与高密度。不断创新介质技术和数据压缩算法,实现了存储容量的 大幅提升和能耗的有效降低,为AIGC数据的长期保存和快速检索提供了可靠保障。第三,智能度和灵活度。全局文 件系统和多协议互通解决方案能够实现数据的智能分级存储和跨平台共享,满足AIGC数据的多样化和灵活度需求。