基于基础模型的生成式A I迅 速 兴 起,正 在 驱 动 新 一 轮 内 容 生 成 、搜 索 和 生 产 力相 关 用 例 的 发 展,覆 盖 包 括 智 能 手 机 、笔 记 本 电 脑 和P C、汽 车 、X R以及物联网等终 端品类。
面对每日超过100亿次的搜索量且移动端搜索占比超过60%的情况13,生成式AI的 应用将推动所需算力的实质性增长,尤其是来自智能手机端的搜索请求。由于基于 生成式AI的查询能够提供更令人满意的答案,用户的搜索方式已经开始发生转变。 对话式搜索的普及也将增加总体查询量。随 着 对 话 功 能 不 断 改 进,变 得 更 加 强 大, 智能手机将成为真正的数字助手。精准的终端侧用户画像与能够理解文字、语音、图像、 视频和任何其他输入模态的大语言模型相结合,让用户可以自然地沟通,获取准确、 贴切的回答。进行自然语言处理、图像理解、视频理解、文本生成文本等任务的模型 将面临高需求。
生成式AI基于简单提示就能快速生成优质内容,它也正在凭借这项能力变革生产力。 以笔记本电脑和PC上的Microsoft Office 365为例,全球有超过4亿Microsoft Office 365商业付费席位和个人订阅者,如果将生成式AI集成至用户日常工作流将带来重大影 响14。此前需要数小时或数天 的任务,现在仅需几分钟就能完成。Microsoft 365 Copilot 同时利用大语言模型的功能和Microsoft Graph与Microsoft 365 应用中的用 户数据,能够将提示转化为强大的生产力工具15。 Office工作者可通过后台运行大语言模型,在Outlook中阅读或撰写电子邮件,在 Word中编写文档,在PowerPoint中创建演示文稿,在Excel中分析数据,或在Teams 会议中协作。生成式AI模型(比如自然语言处理、文本生成文本、图像生成、视频生成 和编程)需要经过海量处理,才能支持这些被重度使用的生产力任务。在以终端为中 心的混合AI架构中,大部分处理能够在PC上进行。
得益于车内和车辆周围环境相关数据所提供的信息,如今AI驱动的座舱能够提供高 度个性化的体验。类似于智能手机和PC,车载数字助手将能够让驾乘人员通过免提 的友好用户界面保持无缝互联,同时为生态系统创造全新的创收机会。 数字助手可以访问用户个人数据,比如应用、服务和支付信息;以及来自车辆的传感器 数据,包括摄像头、雷达、激光雷达和蜂窝车联网(C-V2X)等。企业API也支持第三方 服务提供商集成他们的解决方案,将客户关系延伸到车上。例如,主动式驾驶辅助将 大幅改善导航体验,比如会影响驾驶员常用出行路线的交通和天气信息更新,汽 车 充电或购买停车券提醒,此外,用户可以通过简单地请求即可用已绑定的信用卡预 订自己喜欢的美食。如果汽车能够识别每位驾乘人员并提供定制化的音乐和播客 等体验和内容,座舱的媒体娱乐体验也将会变革。随着车载A R应用变得更加普遍, 数字助手可以按照驾乘人员的偏好提供定制化的显示。
汽车维修保养和服务也将变得更加自主和无缝。通过分析传感器输入、维修保养历 史和驾驶行为等数据,数字助手可以预测何时需要进行保养。利用生成式A I,数 字助手可针对汽车如何维修提供信息,或为用户提供咨询,找到合适的服务提供商, 提高车辆可靠性,同时减少时间和成本。 感知软件栈从未遇到过的罕见或陌生物体,经常会对高级驾驶辅助系统和自动驾 驶(ADAS/AD)解决方案产生干扰。这种情况通常由光线不佳或恶劣天气条件造成, 会导致驾驶策略软件栈产生 难以 预 测 、有 时 甚 至 很 危 险 的 结 果。为了在未来预防 类 似 情 况,必 须 妥 善 采 集 和 标 记 这 些 极 端 场景的数据并重新训练模型。这个循环 可 能 耗 时 费 力,而 生 成 式A I可 以 模 拟 极 端 场 景,预 测 不 同 道 路 行 为 主 体 的 轨 迹 和 行为,比 如 车 辆 、行 人 、自行车骑行者和摩托车骑行者。规划者可以利用这些场景 确定车辆驾驶策略。
驾驶策略软件栈以及感知软件栈始终在汽车的A I算力可支持的情况下本地运行。 严苛的时延要求决定了云端无法针对这些AI工作负载在决策过程中发挥任何作用。 随着ADAS/AD解决方案采用支持适当后处理的生成式A I模 型,汽车必然需要具 备显著高能效的AI计算能力。
生成式 AI 能为 XR 带来巨大前景。它有潜力普及3D内容创作,并真正实现虚拟化身。 下一代A I渲 染 工 具 将 赋 能 内 容 创 作 者 使 用 如 文 本 、语 音 、图 像 或 视 频 等 各 种 类 型 的提示,生成3D物体和场景,并最终创造出完整的虚拟世界。此 外,内 容 创 作 者 将能够利用文本生成文本的大语言模型,为能够发出声音并表达情绪的虚拟化 身 生成类人对话。总而言之,这些进步将变革用户在XR设备上创造和体验沉浸式 内容的方式。 生成式AI为XR 提供的前景无疑令人兴奋,但很难预测这些技术何时才能被广泛采用。 不过,根 据 近 几 个 月 快 速 的 创 新 步 伐,可 以 肯 定 地 说,我 们 可 以 期 待 在 未 来 几 年 内 取得重要进展。

对于沉浸式世界,Stable Diffusion 等文本生成图像类的模型很快将赋能内容创作者 在3D物体上生成逼真的纹理。我们预计,一年内这些功能将在智能手机上实现, 并延伸到X R终端。X R中的部署需要“分布式处理”,即头显运行感知和渲染软件栈, 与之配对的智能手机或云端运行生成式A I模 型。未来几年,首 批 文 本 生 成3D和 图像生成3D类的模型将可能实现边缘侧部署,生成高质量的3D物体点云。几年后,这些模型将通过提升,达到能够从零开始生成高质量 3D 纹理物体的 水平。在 大 约 十 年 内,模 型 将 更 进 一 步,支 持 由 文 本 或 图 像 生 成 的 高 保 真 完整 3D空间和场景。 未 来,文 本 生 成3D和视频生成3D类的模型最终或能让用户踏入从零开始生成的 3D虚拟世界,例如自动构建满足用户任何想象的3D虚拟环境。
虚拟化身将遵循类似的发展过程 。文本生成文本的模型 ,比如有130亿参数的 LLaMA,将运行在边缘终端,为虚拟化身生成自然直观的对话。此外,文本生成图像的 模型将为这些虚拟化身生成全新的纹理和服装。未来几年内,图像生成3D和 编/解 码器模型将能够为人类生成全身虚拟化身,支持远程通信。最终,人们将能够利用语音 提示、图像或视频生成逼真、全动画、智能、可量产的类人虚拟化身。
目前,AI已广泛应用于各种物联网垂直领域,包括零售、安全、能源和公共设施、供应 链和资产管理。A I依靠近乎实时的数据采集和分析改进决策质量,优化运营效率, 并赋能创新以打造差异化竞争优势。通过生成式AI,物联网细分领域将进一步从AI 的应用中受益。
以零售业为例,生成式A I可以改善顾客和员工体验。在售货亭或智能购物车旁的 导购员可以基于每周特价商品、预算限制和家庭偏好帮助顾客定制带有菜谱的菜单。 商店经理可以根据即将发生的事件预测非周期性的促销机会并进行相应准备。如 果 一个运动队来到其所在的城市,那么商店经理可以利用生成式A I查询粉丝喜爱的 商品品牌,并相应地增加库存。另一个用途是参考来自相似社区的商店的优秀案 例和成功经验,重新进行店面规划。生成式A I可以利用简单提示帮助商店经理重 新排列货架商品,为利润高的产品腾出空间,或者利用附近连锁店的数据,尽可能 降低产品缺货情况的发生。

能源和公共设施领域也将受益于生成式A I。运营团队可以创建极端负荷场景并预 测电力需求,以及特殊情况下潜在的电网故障,比如农村地区在炎热的夏季出现强 风和局部火灾的情况,从而更好地管理资源、避免电力中断。生成式AI也可以用于 提供更好的客户服务,比如解答断电或账单计费问题。