金融行业作为信息技术应用的前沿阵地，近年来在人工智能大模型的推动下，正经历着前所未有的变革与升级。大模型技术，特别是自然语言理解与生成能力的显著提升，为金融行业带来了诸多创新应用与效率提升。但不同大模型产品差异较大，质量也参差不齐，为更好响应银行等金融机构对应用大模型技术的迫切需求，方便银行等金融机构更准确的进行大模型选型，近日，北京银联金卡科技有限公司（银行卡检测中心BCTC，国家金融科技测评中心，以下简称银联金卡）牵头，大型国有商业银行、股份制银行、高校科研院所、头部科技公司等20余家单位共同参与，组建了由行业专家、技术骨干和市场人员的专项小组，开展了全方位、多层次的市场调研，在涵盖国家标准、行业最佳实践、市场需求及技术前沿的基础上，形成了《大模型金融应用评价规范》（以下简称《评价规范》）。本规范旨在通过规范测评助力大模型在金融行业有序健康发展。

《评价规范》主要通过通用知识与能力、金融知识与能力、安全要求以及性能四个维度，对大模型展开多方位评价。

◇ 通用知识与能力决定了大模型在使用过程中与用户交互时的准确性、流畅性和适应性。模型需具备广泛的知识储备和语言理解能力，以准确理解用户的意图、并给出恰当、有针对性的回复。通用知识与能力的评估有助于衡量模型在实际应用中的表现。

◇ 金融知识与能力是能否胜任金融领域应用的关键。模型在金融领域应用的前提是模型需掌握金融专业知识，了解金融术语和概念，并能够运用金融知识进行分析和预测，以确保模型为金融场景提供专业、可信的服务。

◇ 安全要求是决定大模型是否可用的基础，为模型在金融行业应用提供安全保障。大模型金融应用，需保障语料数据生成与管理的安全，并确保生成内容的安全性、稳健性和伦理性，同时能有效对大模型进行安全管理与监控，保证大模型的金融安全。

◇ 性能评价对模型的效率与功耗提出了要求。大模型通常需要大量的计算资源，评估模型的效率与功耗可以帮助用户选择适合自己需求和硬件条件的模型。

银联金卡目前已建立起针对大模型金融应用的专业评估能力，专注于金融专业知识与能力、通用知识与能力、安全要求及性能效能等核心方面，通过构建高质量的测评数据集，全面评定大模型在金融领域的适用性和效能水平。同时，自主研发“离朱”大模型自动化测评平台，具备测评样本自动生成、测评结果自动评估、测评记录自动留存、测评模型自动管理、测评日志自动生成、报告自动编写等功能，这不仅有助于提升金融服务的智能化水平，还能够为金融机构提供更加安全、高效、精准的金融解决方案。

此外，随着金融科技的不断发展和创新，银联金卡也将持续关注新技术、新应用的发展动态，不断完善和优化自身的评估体系和能力建设，以更好地适应金融行业的发展需求。

联系方式：

如有疑问，请联系我们：乔弘 010-81131638     邱晓慧 010-81131783