北京大学-DeepSeek私有化部署和一体机

本次讲座为DeepSeek原理和应用系列研讨的讲座之一，让大家可以决策是否需要自己部署DeepSeek系列模型，并了 解自己本地化部署DeepSeek的基本方法，同时了解更专业的企业级部署方法，有助于选择DeepSeek一体机型号，并 能理解DeepSeek云服务的工作机制和原理，用好DeepSeek云服务的API调用方法。

1.人工智能与DeepSeek

人工智能：让机器具备动物智能，人类智能，非人类智能（超人类智能） •运算推理：规则核心；自动化 •知识工程：知识核心；知识库+推理机 •机器学习：学习核心；数据智能（统计学习方法，数据建模） •常规机器学习方法：逻辑回归，决策森林，支持向量机，马尔科夫链，…..

人工神经网络：与人脑最大的共同点是名字，机制和架构并不一样 •传统神经网络：霍普菲尔德网络，玻尔兹曼机，….. •深度神经网络：深度学习 •传统网络架构：DBN，CNN，RNN，ResNet，Inception，RWKV，…… •Transformer架构：可以并行矩阵计算（GPU），核心是注意力机制（Attention） •编码器（BERT）：多数embedding模型，Ernie早期版本，……. •混合网络：T5、GLM •解码器（GPT）：大语言模型（LLM），也是传统的多模态模型的核心 •生成式人工智能（GenAI）：AIGC •DeepSeek、Qwen、GLM、Step、MiniMax、hunyuan、kimi、火山、…… •OpenAI GPT（ChatGPT）、Claude、Llama、Grok、…… •Diffusion架构：主要用于视觉模型（比如Stable Diffusion、DALL.E），现在也开始尝试用于语言模型 •Diffusion+Transformer架构：例如Sora的DiT（加入Diffusion的视觉模型），部分新的多模态模型架构。

自 2024 年起，AI肖睿团队便接入DeepSeek V2，持续应用 DeepSeek 技术 体系，历经 V2（MoE 架构）、V3（MTP）探索，现已在生产项目中接入 DeepSeek R1（满血版）。其中，V2和V3都是生成模型，R1为推理模型。 下面，基于我们团队对DeepSeek的技术研究和实战经验，为大家系统梳理这 三大模型技术特性，剖析知识蒸馏在各版本提升效率的逻辑，并结合边缘计算、 数学编程、中文等场景实例，对比DeepSeek R1各版本模型的计算效率与推理 精度的演进，同时说明标准化 API/SDK 对技术落地的适配机制。

2.个人部署DeepSeek

对于个人玩家如何在自己的电脑上部署和体验DeepSeek（一般是蒸馏版），我们 会详细分享具体的模型评估数据和软硬件要求，通过实操环节来详细讲解Ollama命 令行高效部署全流程，并构建多形态用户接入方案，包括浏览器插件 PageAssist、桌面端Chatbox和团队协作型OpenWebUI，实现从个人到企业 的全场景覆盖。其中分享过程中常见问题和经验，帮助大家可完整体验、并成 功实现本地化部署DeepSeek。

3.企业部署DeepSeek

1. Ollma框架适合个人用户私有化本地部署，但在多用户并发场景下性能衰减 明显。这一部分我们将尽可能简单地介绍企业级私有化部署的方案和探索实 践，普通用户可以了解即可。 2. 企业级生产环境推荐使用Transformers来快速验证模型能力，使用vLLM框 架借助PagedAttention技术实现24倍于Transformers的吞吐量实现大模 型的高效推理，针对不同企业场景，则提供不同的企业级部署方案，我们也 会分享服务器配置、性能数据及报价参考等实战经验，且深度分析业务场景 的适配性，给予参考帮助。

3. 同时，针对近期出现的KTransformers、Unsloth等多套低成本动态量化模 型的DeepSeek部署解决方案。虽然不够成熟也无法投入实际生产使用，但 我们也会用一定的篇幅分享我们的研究实践和经验。

4.DeepSeek一体机

DeepSeek 一体机是融合 “算力 + 大模型 + 应用” 的创新产品。它的硬 件配置强劲，配置高性能CPU和GPU、海量高速内存与固态硬盘，可高效处 理复杂计算与大规模数据，进行大模型的推理甚至微调和训练。 • 对一般企业而言，它提供一站式服务，“软硬协同、本地化部署”，降低智 能化转型门槛，保障数据安全。对个人用户，其低成本让大模型使用更亲民， 有效地降低了AI技术的使用门槛。推动 AI 技术普及，助力各行业利用 AI 提 升效率。

 这部分将以北大青鸟用于高校AI通识课教育的AI实验室中的DeepSeek一体 机为例，展示DeepSeek一体机的配置、性能数据及报价参考等，且深度分 析业务场景的适配性，给予参考帮助。