给 AI 插上腾飞的翅膀。
向量数据库一个很重要的功能是拓展大模型的边界。边界又分为时间边界和空间边 界。 时间边界的扩展指的是向量数据库能够使得大模型 LLM 拥有“长期记忆”。众所周 知，目前的大模型（无论是 NLP 领域的 GPT 系列还是 CV 领域的 ResNET 系列） 都是预先训练 Pretrain 的大模型，有着非常明晰的训练截止日 Cut-off Date。这导致 这些模型对于训练截止日之后发生的事情一无所知。而信息的价值随着时间的流逝 呈现出指数级下降，这也使得 LLM 在很多场景的适用性有限。随着向量数据库的 引入，其内部存储的最新的信息向量能够极大地拓展大模型的应用边界。向量数据 库可以使得大模型保持准实时性，提高大模型的适用性，并使得大模型能够动态调 整。也就是说，向量数据库使得大模型的长期记忆得到了可能。
例如，假设一个预训练的新闻摘要模型在 2021 年底完成了训练。然而，到了 2023 年，许多新闻事件和趋势已经发生了变化。为了使大模型能够处理这些新信息，可 以使用向量数据库来存储和查询 2023 年的新闻文章向量。通过这种方式，大模型 可以根据最新的数据生成更准确和相关的摘要。同样，在推荐系统中，预训练的大 模型可能无法识别新用户和新产品的特征。通过向量数据库，可以实时更新用户和 产品的特征向量，从而使大模型能够根据最新的信息为用户提供更精准的推荐。此 外，向量数据库还可以支持实时监测和分析。例如，在金融领域，预训练的股票预 测模型可能无法获取训练截止日期之后的股票价格信息。通过将最新的股票价格向 量存储在向量数据库中，大模型可以实时分析和预测未来股票价格走势。还有就是 在客服领域，向量数据库将使得大模型可以追溯到对话的开始。
空间边界的扩展指的是向量数据库能够协助解决目前企业界最担忧的大模型泄露 隐私的问题。用户给出的 Prompt 可能会包含一些敏感信息。根据媒体报道，员工 A 用 ChatGPT 帮自己查一段代码的 bug，而这段源代码与半导体设备测量数据有关； 员工 B 想用 ChatGPT 帮自己优化一段代码，就直接将与产量和良品率记录设备相关 的一段代码输入了其中；员工 C 则先用 AI 语音助手 Naver Clova 将自己的会议录音 转成文字，再用 ChatGPT 帮他总结一下会议内容，做成摘要。这些行为直接导致了 三星关键数据的泄露。而 ChatGPT 本身其实也出现过隐私泄露事件，使得有一小部 分的对话历史/支付数据会被其他用户查看。这些数据都极为敏感。通过本地部署， 向量数据库能够在很大程度上解决这个问题。向量数据库本地部署后可以存储企业 有关的大量隐私数据。在本地部署或者专有云部署大模型后，通过特别的 Agent 大 模型可以在有保护的情况下访问向量数据库的隐私数据，进而可以在不向外网暴露 公司的隐私的情况下，使得公司的业务得到大模型的助力。
向量数据库自带多模态功能，这意味着它能够通过机器学习方法处理和理解来自不 同源的多种模态信息，如文本、图像、音频和视频等。数据向量化过程使得这些不 同模态数据的内部隐藏信息得以暴露，进而为多模态应用提供支持。一个典型的应 用场景是多语言搜索。向量数据库支持跨语言的信息检索，用户可以使用英语、法 语、中文等多种语言搜索图书库，而无需事先对书名进行多语言翻译处理。这得益 于向量表示能够捕捉到语义相似性，使得来自不同语言的查询和内容能够相互匹配。 此外，向量数据库还可以实现跨模态搜索，例如让用户用文字来搜索图片。假设用 户用俄文搜索“蓝色的鞋子”，尽管商品的标题和描述都是英语，但向量数据库仍 然能够返回颜色为蓝色的鞋子商品的结果。这是因为向量数据库能够识别出不同模 态数据之间的语义关联，进而实现跨模态的信息检索。
即使不考虑需要 LLM 支持的边界拓展型应用和多模态搜索，近似搜索功能就可以 给向量数据库带来巨大的商业化潜力。向量数据库的近似搜索（Approximate Nearest Neighbor Search，简称 ANNS）是一种在高维数据中查找与给定查询向量相似的项 的搜索方法。这种搜索方法的目标是找到距离查询向量最近的数据点，即“最近邻”。 在向量数据库中，数据经过向量化处理后，每个数据点都会被表示为高维空间中的 一个向量。当我们需要查找与某个查询向量相似的数据点时，近似搜索算法会在这 个高维空间中快速定位到与查询向量距离较近的数据点。这种相似性度量通常基于 向量之间的距离（如欧氏距离、余弦相似性等）。由于在高维空间中进行精确的最 近邻搜索非常耗时，所以通常采用近似方法来加速搜索过程。近似搜索主要依赖于 一些特定的算法和数据结构，如 Locality-Sensitive Hashing（LSH）、Hierarchical Navigable Small World（HNSW）、Annoy 等。这些算法和数据结构能够在牺牲一定 精度的前提下显著加速搜索速度，从而实现在大规模高维数据中的高效查找。近似 搜索有着巨大的商业化潜力：
1、 推荐系统：通过利用近似搜索功能，向量数据库可以帮助推荐系统为用户提供 更精准、更个性化的内容推荐。这可以显著提高用户满意度和使用时长，进而 提升商业价值； 2、 文本挖掘：在自然语言处理领域，向量数据库的近似搜索功能可以帮助快速检 索相关文档、发现隐含的话题和关键信息。这对于新闻分析、竞争情报、法律 （特别是判例法）和市场研究等领域具有显著的商业价值； 3、 图像检索：向量数据库可以运用近似搜索功能在海量图像库中快速查找与给定 图像相似的图像，这对于广告、设计、版权等领域具有重要应用价值。通过快 速、准确地找到相关图像，企业可以降低成本、提高工作效率； 4、 语音识别和处理：近似搜索功能可以应用于语音识别和处理领域，帮助企业在 语音数据库中快速匹配相似语音片段。这对于客户服务、语音助手和自动翻译 等应用具有显著的商业潜力； 5、 生物信息学：在生物信息学领域，近似搜索可以帮助研究人员在基因序列、蛋 白质结构等复杂数字数据中查找相似性。这可以加速新药研发、疾病诊断和基 因治疗等领域的进展，从而创造巨大的商业机会。
实际上，印尼最大的电商之一 Tokopedia 就已经部署了向量数据库进行近似搜索。 之前 Tokopedia 采用基于 Elastic Search 的关键词搜索，这种搜索很难提取出搜索关 键词的内在含义，主要权重在于词频。通过从关键词搜索转为基于向量的近似搜索， Tokopedia 能够更好地满足用户的搜索需求，进行更精准的商品推荐，智能化水平提 升了 10 倍，从而大幅度地提升财务指标。
