亚马逊AI生态建设情况如何?

最佳答案 匿名用户编辑于2023/09/15 14:24

具备基础算法能力,致力于构筑 AI 生态。

AWS 作为老牌云厂商,在此次生成式 AI 浪潮中,并未推出类似 GPT-4、PaLM 等通 用语言模型,而是通过接入外部模型的形式提供模型服务,虽然部分模型性能处在行业前 列,但市场对 AWS 自身的 AI 能力存在一定的担忧,因此我们从 AWS 的 AI 研究出发,分 析 AWS 自身的 AI 算法能力。 算法能力:具备研发百亿参数模型的能力。虽然亚马逊对自研模型 Titan 的披露相对 较少,但我们可以从亚马逊在语音以及其他领域大模型的研发情况进行相应参考。例如亚 马逊在 2022 年发布的 AlexaTM 为例,虽然该模型并没有完全采用其他大型语言模型使用 的“仅解码器架构”(GPT 思路),但 AlexaTM 20B 模型是序列到序列 (seq2seq) 编码 器-解码器架构,同时结合了“师生模型”的思路进行训练。虽然模型的体积、架构与当前 主流的 GPT 式模型存在一定不同,但在小规模数据下,AlexaTM 20B 在多种语言任务上 优于拥有数千亿参数的大型模型。

数据储备:提供语言、多模态等多个领域。目前亚马逊已经开源了两个大规模的数据 集,Alexa Arena 与 Mintaka,是亚马逊在 AI 数据领域长期以来的积累。

多模态数据集 Alexa Arena:Arena 是一个亚马逊人工智能框架,旨在突破人机 交互的界限。它提供了一个交互式、以用户为中心的框架,用于创建机器人任务, 包括导航多房间模拟环境和实时操作所有类型的对象。在类似游戏的环境中,用 户可以通过自然语言对话与虚拟机器人进行交互,帮助机器人完成任务。该框架 目前包括大量用于家庭、仓库和实验室的多房间布局。而在框架之外,Arena 提 供多元的数据集,包括:1)指令跟踪数据集,包含 46,000 条人工注释的对话 指令,以及地面真实动作轨迹和机器人视图图像;2)视觉数据集,包含来自 Arena 场景的 660,000 个图像涵盖 160 多个语义对象组,通过将机器人导航到各个 虚拟位置并从不同角度和距离捕获那里对象的图像来收集。这些数据集不仅能够 支撑亚马逊自身机器人、物流等领域的研发, 亦能够为后续多模态模型的研发 提供一定基础。

对话数据集 Mintaka:Mintaka 是一个大型、复杂、自然的多语言问答数据集, 根据亚马逊的介绍,该数据集收集了 20,000 个英语问题,并专业翻译成八种语 言:阿拉伯语、法语、德语、印地语、意大利语、日语、葡萄牙语和西班牙语。 亚马逊通过将问题文本和答案文本中的实体链接到维基数据 ID,将 Mintaka 纳 入维基数据知识图谱中。问答仅限于八个类别:电影、音乐、体育、书籍、地理、 政治、电子游戏和历史。

亚马逊 Titan:更多聚焦细分场景下的内容生产,赋能高精度搜索与推荐。与 GPT-4 等大模型不同,亚马逊此次推出的 Amazon Titan 模型并没有覆盖广义上的内容生产,而 是更多聚焦两个方面的细分场景:1)在 NLP 领域,聚焦归纳和部分简单博客的生成,并 非广义内容;2)在其他方面,通过 Embedding 的方法,将生成内容用在电商等在内的搜 索和个性化推荐任务。

生态储备:联合 Hugging Face 等机构,覆盖大量优质第三方模型。虽然亚马逊没有 过多强调自研闭源模型的研发,但在合作伙伴关系方面,AWS 将成为 Hugging Face 的 首选云提供商,这意味着 Hugging Face 的开发人员可以访问 Amazon SageMaker、AWS Trainium 到 AWS Inferentia 的工具,并以更低的成本针对特定用例优化其模型的性能。 根据亚马逊披露,Hugging Face 已经覆盖了大约 1 万个以上的预训练模型,范围较为广 泛。除开源生态外,亚马逊亦提供部分头部领先的模型,提升模型性能。