AITrust解读 | EDPB：人工智能审计检查清单
Europrivacy认证
文末扫码咨询 详细介绍
CAIM报名
CAIL报名
Dr. Gemma GALDON CLAVELL
一、简介
《AI审计检查清单》由EDPB（欧洲数据保护委员会）委托Gemma Galdon Clavell博士编写，也是欧盟特别计划的一部分，旨在提供一套方法论，用于检查人工智能（AI）系统在其特定上下文中的运行情况。这一方法论不仅是一种动态评估法规、标准和影响的方法，还可以作为透明度和问责制的工具，尤其在其结果公开的情况下。
AI审计对于监管机构和社会来说是关键工具，通过审计报告可以评估系统的工作情况及其影响。同时，审计对于开发和采购AI系统的组织也非常有用。本文提出的端到端社会技术方法生成的文档有助于提高系统的问责性、组织记忆和符合AI及数据法规的要求。对于那些希望将AI系统纳入其运营的组织来说，审计提供了必要的证据，使其能够进行尽职调查，并妥善评估和比较不同系统和供应商的特性。
本指南提出的AI审计检查清单特别关注AI的影响。这意味着虽然它收集了关于合规性和信任与安全机制的信息，但其重点是验证AI开发人员和实施者是否在各个阶段采取了所有必要措施，以确保其系统的影响符合现行法律、信任与安全最佳实践以及社会期望。
需要注意的是，控制者在实施问责原则框架下的审计过程和监管机构的检查/调查可能会有所不同。此类差异包括但不限于最终目的（监管机构可能进行检查以获取违法证据）、范围（限于GDPR：适用于个人数据处理活动但不适用于技术）以及各国关于控制机构检查的国家法规。
二、算法审计的范围
端到端社会技术算法审计（E2EST/AA）应检查系统在实际实施、处理活动和运行环境中的表现，关注使用的具体数据和受影响的数据主体。这是一种端到端的方法，因为它认识到算法系统使用由复杂和不完美的个人和社会产生的数据，并在复杂的社会和组织环境中运行和干预。因此，AI系统是深度的社会技术系统，单纯关注技术问题无法涵盖系统改进和影响测试的所有问题和可能性。事实上，大多数E2EST/AA都集中在算法生命周期的预处理和后处理阶段。尽管在处理中具有最佳性能和准确率的模型和系统，在端到端审计时使用社会和技术手段可能会表现出低效或有害的方式。
E2EST/AA过程设计用于检查用于排序、图像识别和自然语言处理的算法系统。它适用于根据已知数据源对个人或群体做出决策的系统，无论它们是使用机器学习还是传统计算。这一定义包括公共和私营部门用于在健康、教育、安全、金融等领域以及欺诈检测、招聘、运营管理或预测/风险评估等应用中进行资源分配、分类和身份验证/验证的系统。
E2EST/AA专注于偏见评估，但不限于此。进行E2EST/AA的方法包括了关于更广泛社会影响和期望的问题，以及设计过程中的最终用户参与和受算法系统影响的人的申诉机制。要通过算法审计，必须解决影响、比例、参与和资源等问题。
任何审计过程的一个明显限制是它基于现有系统。这意味着审计方法论不会引发系统是否应该存在的反思。
三、审计过程
E2EST/AA是审计员与开发团队之间互动的迭代过程。该方法提供了模板和指导，以指导这种互动，指定审计员完成评估和验证结果所需的数据输入。
3.1 模型卡
模型卡是用于汇总AI模型训练和测试信息以及特定数据集或算法模型特征和动机的文档。可以使用并稍作修改下面的示例模型卡来适应不同的系统或合规关注点。
基本信息
系统名称/代码及版本（GDPR第5.2条）
传单版本及版本历史（GDPR第5.2条）
系统所有者及供应商数据
供应商角色
风险等级（AI法案）
治理角色（GDPR第IV章）
分发日期（GDPR第5.2条）
现有文档
描述预期目的、用途、上下文和提供的服务（GDPR第5.1.b条、第5.2条和第24.1条）
利益相关者参与情况
组织背景
人类角色
数据来源/收集方法（GDPR第5条和第9条）
数据类型和特征（GDPR第5.1.a条和第5.1.b条）
隐私设计（GDPR第25条）
数据集（GDPR第5.1.a条和第5.1.b条）
使用的方法及其理由
简化的输出
决策变量
目标函数（GDPR第5.1.d条）
评估指标（GDPR第5.1.a条和第5.1.b条）
受保护类别（GDPR第13.1.e条、第14.1.e条和第35.9条）
各类别和概况的影响率（GDPR第5.1.d条）
可审计性（GDPR第5条和第22条）
可解释性分析（GDPR序言第71条）
申诉或审查（GDPR第13.2.f条、第14.2.g条和第15条）
申诉指标（如适用）
模型卡允许审计员初步了解系统以及可用信息，因此至关重要的是确定需要进一步探讨的问题，并询问系统开发人员如何确定某些提供的信息。它也是收集系统所有现有文档的有用方式。
具体来说，审计员应记录以下文件的存在情况：
文件
数据保护影响评估（DPIA）/人权影响评估（HRIA）链接至文档或元数据（作者、日期等）
数据重用权限/授权链接至文档及理由
数据共享协议链接至文档及理由
道德委员会/机构审查委员会（IRB）批准链接至请求和批准文档及理由
数据保护授权批准链接至请求和批准文档及理由
3.2 系统图
系统图是一种工具，用于描述AI系统的各个组件及其相互关系。它通常包括以下内容：
系统边界和范围
数据流及处理步骤
参与者及其角色
决策点及其逻辑
3.3 偏见时刻和来源
偏见时刻和来源的识别是审计过程中重要的一环。需要分析以下各阶段可能存在的偏见：
数据收集阶段：分析数据来源、收集方法和数据集特征，识别潜在的偏见来源。
数据处理阶段：审查数据清洗、预处理和特征选择过程，评估是否存在系统性偏见。
模型训练阶段：评估模型选择、训练方法和验证过程，确保模型没有固化偏见。
模型应用阶段：分析模型在实际应用中的表现，识别和评估潜在的偏见和歧视。
3.4 偏见测试
偏见测试是通过实验和模拟，评估AI系统在不同情境下的表现，以识别和量化系统的偏见程度。常用的偏见测试方法包括：
混淆矩阵分析：通过比较预测结果与实际结果，评估不同类别的精确度、召回率和F1分数。
公平性指标：使用诸如平均差异、机会均等和绝对误差等指标，评估系统在不同群体中的公平性。
模拟测试：通过构建模拟场景，评估系统在不同情境下的表现，识别潜在的系统性偏见。
3.5 对抗性审计（可选）
对抗性审计是一种高级评估方法，通过设计对抗性样本和攻击，测试AI系统的鲁棒性和安全性。对抗性审计包括：
对抗性样本生成：使用算法生成对抗性样本，测试系统对异常输入的响应。
安全漏洞分析：评估系统对潜在攻击的防御能力，识别和修复安全漏洞。
健壮性测试：通过模拟各种异常情况，测试系统的稳定性和可靠性。
四、审计报告
审计报告是审计过程的最终产出，记录了审计的全过程、发现的问题及其解决方案。审计报告应包括以下内容：
4.1 报告结构
标题页
报告标题
审计时间范围
审计人员及其联系方式
被审计系统的基本信息（系统名称、版本、所有者等）
章节标题及页码
审计目标及范围
审计方法概述
主要发现及结论
关键建议
引言
审计背景及动机
系统概述及其应用场景
审计目的及范围
审计方法及工具概述
数据收集及分析方法
偏见测试及对抗性审计方法
数据收集及处理阶段的发现
数据来源及其潜在偏见
数据处理及预处理过程中的问题
模型训练阶段的发现
模型选择及训练方法
模型验证及测试结果
模型应用阶段的发现
实际应用中的偏见及其影响
系统性能及公平性评估
对抗性审计的发现（如适用）
对抗性样本测试结果
安全漏洞及健壮性评估
总结审计过程中的主要发现
评估系统在各个阶段的偏见和影响
总体结论及其对系统可靠性的评估
针对发现的问题提出具体的改进建议
数据收集及处理改进建议
模型训练及验证改进建议
模型应用及偏见缓解措施
安全性及健壮性改进建议（如适用）
审计过程中使用的工具及方法的详细说明
数据来源及处理步骤的详细记录
模型卡及系统图的详细信息
其他相关文档及参考资料
AITrust是一个聚焦AI治理的高端开放平台，一个整合法律、技术及管理的AI治理专家共同体，一个制造干货、相互赋能及塑造职业品牌的AI治理生态体。AI Trust将持续举办沙龙、读书会、论坛、年度大会等开放性活动，并同时提供首席人工智能官CCAIO系列培训、ISO/IEC42001人工智能管理体系认证、欧盟人工智能法合规咨询、AI安全及技术落地等前沿服务。现招募“AITrust×”共建活动的合作单位及AI大咖！
微信扫码关注该文公众号作者