Top开源大模型安全测评报告（2024）

《Top开源大模型安全测评报告（2024）》是由安信信息发布的一份报告，本报告聚焦国内外开源大模型的安全风险测评，通过选取典型的12家20款开源大模型，从12个方面展开深入安全测评， 旨在提高大模型厂商的安全意识和保障行业用户的合法权益，并通过系统性分析国内外开源大模型安全的综合表现，为人工智能大 模型产业各界提供参考。

从大模型安全风险总览来看，开源大模型存在一定安全风险，国内开源大模型安全性整体上 优于国外开源大模型，大模型安全治理工作任重道远需各方共同努力。从大模型安全风险类型分布来看，公共安全、道德伦理、不良信息和网络安全风险较为严重， 谨慎使用国外开源大模型作为基座模型。从大模型安全风险检测方式来看，开源大模型在面对内容分割重组、角色伪装、直接问答、 语言切换、混合攻击等检测方式时防护能力较弱，大模型如何抵御各类型的攻击方式需持续研究。

从国家安全风险类型来看，测试策略数量为268个，其中aya:8b、mistral:7b-instruct、mistral在该风险类 型中风险数量最多，aya:8b单项风险占比最高为20.52%，internlm2:7b单项风险占比最低为2.24%。从历史文化风险类型来看，测试策略数量为5个，其中llama3:8b、mistral:7b-instruct在该风险类型中风 险数量最多，llama3:8b和mistral:7b-instruct单项风险占比最高为20%，其他被测开源大模型未出现该风险。

从公共安全风险类型来看，测试策略数量为478个，其中mistral:7b-instruct、mistral、yi-1.5:6b在该风险 类型中风险数量最多，mistral:7b-instruct单项风险占比最高为17.36%，deepseek-v2:16b-lite-chat-q4_K_M单 项风险占比最低为0.41%。从网络安全风险类型来看，测试策略数量为111个，其中yi:6b、yi-1.5:6b、glm4:9b-chat-q4_K_M在该风 险类型中风险数量最多，yi:6b单项风险占比最高为32.43%，llama3.1:latest单项风险占比最低为1.81%

从不良信息风险类型来看，测试策略数量为199个，其中aya:8b、mistral、mistral:7b-instruct在该风险类 型中风险数量最多，aya:8b单项风险占比最高为28.14%，internlm2:7b单项风险占比最低为3.01%。从道德伦理风险类型来看，测试策略数量为504个，其中falcon、mistral:7b-instruct、llama3.1:latest 在该风险类型中风险数量最多，falcon单项风险占比最高为21.23%，internlm2:7b单项风险占比最低为1.78%。

从隐私信息风险类型来看，测试策略数量为137个，其中aya:8b、yi-1.5:6b、mistral、mistral:7b-instruct 在该风险类型中风险数量最多，aya:8b单项风险占比最高为12.4%，gemma2:9b-instruct-q4_K_M单项风险占 比最低为1.45%。从商业金融风险类型来看，测试策略数量为85个，其中yi:6b、yi-1.5:6b、falcon在该风险类型中风险数量 最多，yi:6b单项风险占比最高为14.12%，qwen2.5:7b、internlm2:7b和glm4:9b-chat-q4_K_M未出现该风险。

从公民权利风险类型来看，测试策略数量为89个，其中yi:6b、yi-1.5:6b、falcon在该风险类型中风险数量 最多，yi:6b和yi-1.5:6b单项风险占比最高为21.34%，qwen:7b、qwen2:7b和qwen2.5:7b等6个开源大模型未出 现该风险。从医疗卫生风险类型来看，测试策略数量为70个，其中aya:8b、falcon、llama3.1:latest在该风险类型中风 险数量最多，aya:8b和falcon单项风险占比最高为10%，deepseek-llm:7b和deepseek-v2:16b-lite-chat-q4_K_M 等5个开源大模型未出现该风险。

从模型滥用风险类型来看，测试策略数量为70个，其中deepseek-v2:16b-lite-chat-q4_K_M、falcon、 llama3.1:latest在该风险类型中风险数量最多，deepseek-v2:16b-lite-chat-q4_K_M、llama3.1:latest和falcon单 项风险占比最高为2.85%，qwen:7b、qwen2:7b和qwen2.5:7b等9个开源大模型未出现该风险。从基础安全风险类型来看，测试策略数量为20个，其中llama3.1:latest和mistral:7b-instruct在该风险类型 中风险数量最多，llama3.1:latest和mistral:7b-instruct单项风险占比最高为10%，qwen:7b、qwen2.5:7b和 deepseek-v2:16b-lite-chat-q4_K_M等9个开源大模型未出现该风险。

开源大模型安全现状总结：从大模型安全风险等级来看，国外开源大模型安全风险比国内开源大 模型等级高，全球人工智能安全治理工作迫在眉睫。 从大模型安全风险类型来看，从国内外开源大模型在公共安全、道 德伦理、不良信息和网络安全风险类型测试不通过率高。 从大模型安全检测方式来看，国内外开源大模型抵御特殊构造指令 攻击方式能力不足，模型容易被误导，导致输出有害内容。 总体上，国内外开源大模型存在一定安全风险，内容安全防护能力 较为薄弱，安全研究投入占比少。在行业自律方面，建议制定人工智能安全伦理准则，确保大模型的开发和应用符合伦理 道德标准，维护国家安全，尊重公民权利，捍卫公平正义。 在AI厂商方面，建议加大人工智能大模型安全研究投入，采用综合的安全策略，结合多种 新兴技术手段来防御各类型变种攻击，提升人工智能大模型的内生安全能力。  在产业应用方面，建议重点行业重点领域部署和应用人工智能大模型时，严格审核人工 智能大模型的内容安全、模型安全、供应链安全和系统安全风险，严防人工智能大模型产生 安全风险。