🐳 模型可解释性 XAI 一 🐳
1、XAI 基本概念
XAI (eXplainable Artificial Intelligence) 是 Gartner 2019 给定的十大数据分析技术热点之一 (Gartner Identifies Top 10 Data and Analytics Technology Trends for 2019) 。
其可以被定义为能够 以人类可理解的方式解释其决策结果 的人工智能算法及系统，即通过提升算法/系统决策过程的透明度来增强人对算法/系统输出的信任。
2、XAI 性能与可解释性
对于人类而言：
- 针对低维度数据的线性分类模型容易被理解，复杂的模型则难以被理解。
- 直线、平面、三维可视化符合人类直觉、易于理解，非线性、超平面则难以解释。
- 以图像、声音为载体的数据易于理解，而其所转化的机器可读的高维数组、矩阵则很难为人所理解。
因此，XAI 技术的目标即：
- 在提供模型可解释性的基础上，保持模型及系统的性能（识别性能、处理性能等）；
- XAI 系统即需要告知检测结果，还需要回答下图 (参考 可信任安全智能与可解释性) 中的 “why” 问题 。
3、XAI 安全领域的应用
在安全领域，XAI 系统同时还需要尽可能的提供威胁的 “上下文”：如提供恶意软件分析中，哪些敏感特征、异常行为会导致模型触发恶意软件的判断 (或提供概率)；针对软件漏洞，哪些代码片段会导致 crash，可能的 patch 有哪些等。
假设人工智能的能力可划分为 感知、认知、行动 三个层面，那么对应到安全领域则是 检测评估、关联决策、响应反馈 三个阶段 (参考 可信任安全智能与可解释性) 。
在检测评估阶段 (目前的主要工作)，安全系统/专家需要完成威胁检测、风险评估；在关联决策阶段，需要融入多源异构的数据知识，综合检测结果、风险报告、专家分析等，形成具有可行性的决策方案；在响应反馈阶段，需要落实相关的安全决策，处理存在的安全隐患、威胁事件，同时考量修复后的系统的安全运行能力。
XAI 会同步嵌入上述三个阶段，提供具有可解释性的接口和界面，对各阶段的执行细节做出相应的解释，具体的解释如下表 (参考 可信任安全智能与可解释性) 所示。
| 安全能力阶段 | 技术点 | 核心解释能力补充 |
|---|---|---|
| 检测/评估 | 流量威胁检测 | 模型无关的解释性、深度可解释性 |
| 检测/评估 | 恶意样本分析 | 模型无关的解释性、深度可解释性 |
| 检测/评估 | 误报对抗 | 建模前数据分析、模型无关的解释性 |
| 检测/评估 | AI 对抗安全 | 深度可解释性 |
| 关联/决策 | 威胁关联及溯源 | 基于图的可解释性 |
| 关联/决策 | 攻击团伙分析 | 建模前数据分析、基于图的可解释性、深度可解释性 |
| 关联/决策 | 自动化指纹提取 | 模型无关的解释性 |
| 关联/决策 | 智能自动化决策 | 基于图的可解释性、深度可解释性 |
| 响应/反馈 | 自动化响应 | 模型无关的解释性、深度可解释性、人机交互界面 |
| 响应/反馈 | 行动推荐 | 基于图的可解释性、深度可解释性 |
4、Gartner 2021
Gartner 2021 给定的十大数据与分析技术趋势如下表所示 (Gartner Identifies Top 10 Data and Analytics Technology Trends for 2021 、2021 年十大数据与分析技术趋势)。
| 趋势 | 中 | 英 |
|---|---|---|
| 1 | 更智能、更负责、可扩展的人工智能 | Smarter, Responsible, Scalable AI |
| 2 | 可组合的数据与分析法 | Composable Data and Analytics |
| 3 | 数据编织架构是基础 | Data Fabric Is the Foundation |
| 4 | 从大数据到小而宽的数据 | From Big to Small and Wide Data |
| 5 | 多样化运维 (Xops) | XOps |
| 6 | 工程决策智能 | Engineering Decision Intelligence |
| 7 | 数据与分析成为核心业务 | Data and Analytics as a Core Business Function |
| 8 | 图技术关联万物 | Graph Relates Everything |
| 9 | 日益增多的增强型消费者 | The Rise of the Augmented Consumer |
| 10 | 边缘的数据与分析 | Data and Analytics at the Edge |
