我来对不同类型艺术的元宇宙化应用情况进行简单梳理。
对于视觉艺术而言,元宇宙化应用可分为平面及三维两种。前述的生成艺术、人工智能 艺术、数据艺术、程序艺术、算法艺术、加密艺术、服务器艺术等新作品中,平面视觉艺术 作品占多数。目前阶段,自动生成的视觉艺术作品在模仿已有作品风格已有长足进步,但在 创新性上的进步仍然有限。
不得不指出的是,目前如火如荼的 NFT 数字藏品中,多数亦是平面或三维的视觉艺术。 无论 NFT 数字藏品市场多么火热,其对应的数字藏品本身仍然需要视觉艺术家们创作与设计 (除了传统绘画的数字化)。另外,VR 方式的三维空间作画,使得传统绘画体验的平面本质 被颠覆,艺术家可以真正体验到三维空间的视觉艺术创作乐趣。
对于听觉艺术而言,除了声乐及乐器演奏等可以归为后面的文娱元宇宙之外,作曲领域 还有不少新的应用,主要分为两类。一类是作曲或生成歌曲,主要是通过深度学习之类的人 工智能一完成;另一类是配曲,主要是通过程度及部分人工智能的方式,对已有的音乐自动 生成不同声部、不同种类乐器的乐谱,甚至可以自动生成合奏的效果。
除此之外,听觉领域的元宇宙化音乐已经出现了 3D 音乐、机器人主持、交互多媒体、 人工智能伴奏、虚拟现实音乐欣赏、机器人指挥、机器人演奏及机器人演唱等形式,并且已 经有以人工智能模仿著名音乐家创作歌曲为演奏曲目的音乐会,未来还可能出现更多的新的 听觉艺术元宇宙化应用。
对于文学艺术而言,元宇宙化应用主要是对小说、诗歌、散文或相关剧本等文学形式的 自动化或半自动化创作。这一领域的元宇宙化仍然处于初期尝试阶段,与视觉艺术有类似的 情形是,自动生成的文学艺术作品在模仿已有知名文学家的作品风格上更强,而在创新性上 的进步仍然不大。
有一种观点认为,也许人工智能生成的文学作品更像碎片化明显的荒诞派文学作品。当 然,不少专业人士对此持不同意见,他们认为明显没有逻辑的作品不能简单地归为“荒诞 派”,而更可能是人工智能目前写作水平有限所致。不过,在对诗或对对联方面,人工智能 或许还是有相对高的“文学水平”。一些在线对对联及写诗的人工智能程序已经表现出不俗 的水平。
对于戏剧艺术而言,元宇宙化应用主要是沉浸式戏剧。沉浸式戏剧主要通过 VR/AR/MR/XR 等技术,创造虚拟互动的沉浸感戏剧体验。其中,叙事方式与互动颠覆了传统 戏剧的观演关系。观众/用户在体验中不是按照传统的所有观众固定的叙事顺序,而可以为 每位观众提供不同的选择,进而体验不同的非线性叙事。同时,如何提供合理的互动是元宇 宙化沉浸式戏剧需重点考虑的问题。
另外,观众可以在基于 VR/AR/MR/XR 等技术的沉浸式戏剧中进行相应的体验,可能充当 其中一个角色,与其他事先设计好的虚拟角色进行合作表演,如对话或其他互动。
还有一种情形是,虚拟的戏剧演员及机器人演员也可以通过全息及其他裸眼 3D 技术也 可以出现于现实的戏剧舞台上,进行现场表演或与真人戏剧演员进行合作表演。
对于舞台空间艺术而言,元宇宙大大拓展了舞台空间的范围。舞台空间不仅从过去的线 下搬到了线上,实体舞台及相关物品变成了虚拟的舞台、虚拟的布景、虚拟的道具及虚拟的 灯光,更使得舞台空间变成了“水平 360 度+垂直 360 度”的四周全环绕空间。同时,其观 众数量及可上演的剧目数量也扩大了成千上万倍。
无论如何,元宇宙为舞台空间艺术创作提供了无限广阔的天地。元宇宙的各种其他艺术 (如戏剧艺术、戏曲艺术、曲艺艺术、舞蹈艺术及各类演唱会、音乐会等)呈现时也都需要 相应的舞台空间设计。同时,现实世界的舞台也可以通过相关的技术达到虚实融合的状态, 电视直播时还可以将这种虚实融合的舞台同时出现在电视机前的观众眼前。
另外,虚幻引擎、实时渲染及虚拟制片等相关技术的出现,让现场的舞台空间出变得更 加智能化与虚实融合化。不仅舞台上的许多布景可以由高清大屏呈现,可以添加许多虚拟的 景物,而且可以在摄像机推移过程中使得表演者身后的虚拟的舞台背影影像两步发生方向移 动或景深变化,并且使得现实的灯光进行实时变化,以使现实光影与舞台背影虚拟影像的光 影同步同向变化。
需要提及的是,舞台空间艺术的无宇宙化过程中,通常还会着舞台灯光设计、舞台形象 设计、舞台道具设计及舞台服装设计等方面的元宇宙化问题。
对于戏曲及曲艺艺术而言,其元宇宙化应用类似于戏剧艺术及舞台空间艺术。已经有一 些“VR+戏曲/曲艺”、“AR+戏曲/曲艺”或“XR+戏曲/曲艺”之类的应用探索,有利于戏曲 /曲艺的传播与传承。另外,为了更好地虚拟呈现戏曲/曲艺,已经有不少项目进行了相关种 类戏曲/曲艺的动作捕捉,并设计了不少虚拟演员。
特别是,一些可以通过虚拟人复还已故戏曲/曲艺大师形象,并通过真人驱动或人工智 能驱动的方式,让大师的虚拟人进行戏曲/曲艺表演。其中前者需要同流派的弟子进行后台 表演,并可能需要进行一定的声音处理,后者则需要录制足够数量的同流派演员的演唱片 断,再经人工智能训练使大师虚拟人能够进行相应的表演,并需要注意身体、表情、眼神及 肢体动作等方面相应的配合。
戏曲及曲艺艺术的元宇宙化应用需要面对的问题是,如何在提供戏曲/曲艺新体验的同 时,让年轻观众体验到原汁原味的戏曲/曲艺精髓。
对于舞蹈艺术而言,其元宇宙化应用又与上述戏剧艺术、舞台空间艺术及戏曲/曲艺艺 术相类似。特别是,不同种类舞蹈节目的动作捕捉为舞蹈动作建模及虚拟呈现舞蹈带来了极 大的方便。当然,舞蹈节目与许多艺术类似,都需要有所创新,如何促进那些不属于标准经 典动作的新动作出现以促进舞蹈发展,仍然具有不小的挑战。
由于动作捕捉技术的普及与成本下降,可以用各种相关的动作捕捉技术将优秀演员的舞 蹈表演加以记录,然后可以通过至少两种方式应用到元宇宙化的舞蹈艺术中:一种是将舞蹈 动作编排后赋予数字虚拟舞蹈演员,进行相应的表演;另一种是将数字虚拟舞蹈演员请到现 实舞台上,与真人舞蹈演员共同表演。
另外,目前的技术还可以做到真人舞蹈演员驱动虚拟人做出与其相同的动作,进而观看 到真人舞蹈演员与数字虚拟舞蹈演员同步舞蹈。
对于雕塑艺术而言,元宇宙化应用一方面打破了传统雕塑只能在现实世界存在的格局, 不仅可以在元宇宙中出现传统雕塑的数字化形式或数字孪生,而且可以出现纯虚拟的雕塑; 另一方面,元宇宙中的数字雕塑也未必是传统雕塑静态的形式,完全可能出现各种动态的雕 塑。
元宇宙世界中的雕塑还可以配合 3D 打印将虚拟的雕塑变与实体的雕塑,进而实现雕塑 从虚拟世界走到现实世界。还有,在欣赏实体雕塑时,可以通过 AR 或 MR 等功能,让虚拟影 像呈现在现实世界,不仅可以用于辅助雕塑讲解,并可以在影像里对雕塑本身加以新的诠 释。另外,还有一种虚实融合的可能,即让数字雕塑与实体雕塑同时同地呈现。