当前，大模型与智能体正在以前所未有的速度重塑金融行业的服务形态与业务边界。然而，在享受技术红利的同时，我们也不得不直面一个严峻的现实：一个生成错误金融建议的模型可能导致用户财产损失，一个存在安全漏洞的系统可能泄露千万级客户的隐私数据。一个恶意行为的智能体甚至可能引发系统性金融风险。具备自主规划与执行能力的智能体，可能因决策逻辑偏差突破业务合规边界。多智能体协同场景下的行为连锁，也可能形成难以追溯的风险传导路径。

对于银行 AI 实验室和大模型金融应用厂商而言，如何在技术创新与风险防控之间找到平衡点，如何确保大模型与智能体产品在上线前经过全面、专业、权威的安全检测，已经成为决定业务成败的关键。本文将从金融行业的特殊需求出发，带您全面了解大模型与智能体安全测评的核心维度与全流程实施路径。

一、金融大模型与智能体测评是一道必答题

与通用大模型不同，金融大模型直接接触资金、交易和敏感个人信息，其安全问题具有 "牵一发而动全身" 的特性。一个看似微小的算法偏差，在金融场景中可能被放大数百万倍，造成难以估量的经济损失和声誉影响。国家金融科技测评中心（银行卡检测中心BCTC，国家金融IC卡安全检测中心，工商注册名:北京银联金卡科技有限公司，以下简称中心）依托二十七年在金融技术产品及系统检测领域的深厚积淀，以及中国银联牵头建设的国家人工智能应用中试基地（金融领域）的技术支撑，打造了一套覆盖全生命周期的大模型与智能体安全测评体系，为商业银行、金融机构及科技公司提供权威的第三方测评服务。

二、九大核心维度，构建立体化金融大模型与智能体测评体系

一个完整的大模型与智能体安全测评，绝不仅仅是 “挑错” 这么简单。它需要从安全合规、业务能力、服务保障等多个层面出发，对模型进行全方位、立体化的 “深度体检”。中心的测评体系围绕九大核心维度，从内容合规到系统落地，从基础能力到服务成熟度，形成完整的测评闭环。

· 内容安全能力：参照生成式人工智能安全相关国家标准，围绕输入识别、风险请求拒答、安全引导与生成内容控制四个环节开展测评，检验模型与智能体面对各类提问时的内容安全响应能力。

· 对抗攻击安全能力：依托自研大模型与智能体安全测评平台，通过直接攻击、语义变形、多轮诱导等多种手段，覆盖六类对抗场景，评估模型与智能体安全策略有效性、拒答一致性与持续防护稳定性。

· 金融安全能力：结合金融领域监管法规、业务规则与技术标准，从合规性、事实性、问题识别、信息安全合规四个维度，检验模型与智能体在金融咨询、内容生成等场景中的风险识别与安全控制能力。

· 通用能力：对大模型的基础认知与逻辑处理水平进行标准化评估，覆盖知识储备、数理推演、文本生成、检索增强生成、自然语言转 SQL 五大语言与逻辑领域。

· 基础金融能力：结合金融业务场景，从专业知识问答、金融意图理解、金融逻辑与计算三个方向，考核模型的基础金融认知与复杂业务处理能力。

· 金融业务能力：面向金融机构数据处理、业务分析与辅助决策场景，测试模型对结构化与非结构化金融信息的理解、分析与生成能力，评估实际业务落地的准确性与可用性。

· 大模型服务成熟度：依据对应国家标准，对大模型平台支撑、开发定制、推理运营三类服务开展成熟度分级评估，为平台优化与规模化应用提供依据。

· 智能体安全：针对具备自主规划、工具调用与执行能力的大模型智能体，采用静态分析、动态测试等多种方式，对系统、模型、工具与行为全链路开展综合评估，识别自主决策过程中的各类安全风险。

· 智能应用测评：面向集成大模型与外部业务系统的智能应用，从渗透测试、漏洞扫描、代码审查、全生命周期管理四个层面开展应用层综合安全测评，识别技术漏洞与业务逻辑风险。

三、大模型与智能体安全测评的全流程实施

一个标准的大模型与智能体安全测评项目通常分为四个阶段：

第一阶段：前期准备

这一阶段的主要任务是明确测评需求、准备测评材料和完成系统接入。我们会根据送测产品和系统的特性，与客户共同确定测评依据的标准和最终的测评方案。客户需要准备大模型设计文档、安全及可扩展性说明书、平台白皮书、用户及管理员手册等材料。同时，我们会协助客户将送测产品系统远程接入我们的测评平台。

第二阶段：测评实施

这是整个测评项目的核心阶段。我们会根据测评方案，利用大模型测评平台开展自动化测试，并由金融和技术专家进行人工复核。对于一些复杂的场景和问题，我们还会安排现场访谈，与客户的技术团队进行深入交流。整个测评过程的数据都会被完整记录，确保测评结果的可追溯性。

第三阶段：结果反馈

测评完成后，我们会及时将初步结果反馈给客户，并对发现的问题进行详细说明。如果客户对测评结果有异议，可以提出申诉，我们会进行复核。对于存在的问题，客户可以进行整改，整改完成后我们会进行复测。

第四阶段：出具报告

在所有问题整改完成并通过复测后，我们会出具正式的、加盖公章的测评报告。对于符合标准的产品，根据实际需要，我们还会提供测评证书。这份报告不仅是客户产品合规上线的重要依据，也是向监管部门进行算法备案的必备材料。

专业护航大模型与智能体安全

作为国内最早开展大模型金融应用测评的第三方机构之一，我们拥有一支由金融专家、AI 技术专家和安全专家组成的专业团队。我们自主研发的大模型测评平台，已实现测评全流程的数字化管理，系统保有超 50 万条涵盖多学科、多语种的高质量测试数据，已支持多批次模型测评任务的实施。

除了基础的测评服务外，我们还提供 "测评 + 治理" 的一站式解决方案。我们可以协助客户进行大模型算法备案咨询、数据安全治理架构设计及科技伦理风险评估，帮助客户构建包含模型准入、监控、退出的分级分类管理体系。

我们深知，大模型与智能体安全不是一劳永逸的事情，而是一个持续迭代、不断完善的过程。随着技术的不断发展和监管要求的不断提高，我们会持续更新我们的测评体系和测试用例，为金融行业的大模型与智能体应用保驾护航。

如果您正在开发或部署大模型金融应用，如果您对大模型与智能体的安全合规问题存在任何疑问，欢迎随时与我们联系。我们将根据您的具体需求，为您量身定制专业的测评方案，帮助您的产品安全、合规、高效地落地应用。