数据存储与计算发展历久弥新。
1960 年信息时代开启后,用于存储、计算少量结构化数据的关系 型数据库、数据仓库诞生,Oracle、DB2、Teradata 等商业化产品逐渐 成熟。2000 年互联网兴起后,结构化数据的规模迅速膨胀、非结构化 数据开始涌现,传统关系型数据库、数据仓库能力出现瓶颈,以 Apache Hadoop 为代表的分布式存储计算框架成为新的技术潮流, Cloudera、Hontonworks 等数家商业化公司纷纷成立,大数据时代正 式来临。2010 年移动互联网逐渐普及后,实时推荐、即时决策需求对 海量数据处理的实时性提出更高要求,同时视频、音频、图片等非结 构化数据占比大幅提升, Storm、Flink 等流处理框架受到关注,数据 湖技术也开始迅速产品化。

技术方面,经过 60 余年发展,数据存储与计算领域总体技术框 架趋于成熟,进入深度优化阶段。数据存储与计算领域已经形成了以 分布式数据库、数据仓库、批处理平台、流处理平台为代表的总体技 术框架,并广泛应用,已能够支撑具有高并发、低延迟数据处理分析 需求的极端场景。例如在“双十一”场景中,大量营销、交易风控等 自动决策被嵌入业务流程,形成了复杂的数据处理分析链路。在技术 能力已相对成熟的基础上,以云化、湖仓一体为代表的深度优化理念 不断涌现,并逐步应用,为数据存储与计算领域进一步降本提质提供 了新范式。
产业方面,全球疫情加速了数字化转型进程,数据存储与计算领 域的产业发展前景持续向好。国际方面,国际云数据仓库巨头 Snowflake 2022 年第三季度营收与去年同期相比上涨 67%,达到 5.5 亿美元;国内方面,2021 上半年我国大数据平台市场规模达 54.2 亿元,同比增长 43.5%7;2021 年我国数据库市场规模预计达 305.78 亿 元,同比增长 26.93%8。同时我国大数据基础软件第一股星环科技于 2022 年 10 月成功上市科创板。数据存储与计算领域市场增长趋势和 行业预期持续向好。
建设运维方面,数据存储与计算建设持续深入,安全稳定运行成 为关注焦点。随着数字化转型的开启,工商银行、建设银行、农业银 行等头部金融机构,电信、移动、联通等运营商,大型互联网公司以 及诸多行业头部企业均在数年前完成数据存储与计算总体框架建设。 近年来,随着数据规模增多、价值提升,数据存储与计算技术平台逐 渐复杂,运维使用时的稳定性保障和安全防护成为难题。2022 年, Google、Twitter 等公司的数据存储与计算技术平台均发生故障,同时, 全球范围内也发生多起针对数据存储与计算技术平台的恶性攻击,相 应安全事件带来的损失也不断增高。