背景知识 - IG 和 SmoothGrad

Expected gradients combines ideas from Integrated Gradients, SHAP, and SmoothGrad into a single expected value equation.

Integrated Gradients (IG)

使用梯度的积分来解释模型，可以解决“某特征贡献饱和时梯度为0”的问题，需要一个基线图片（与原图片多次线性插值）来做积分。

SmoothGrad

核心思想是“removing noise by adding noise”，来源于“给图片加微小扰动会造成梯度解释不稳定”的发现，解决方法是“将 n 张扰动图片的梯度平均”。

实验代码参考: Interpretability: LIME and SHAP in prose and code

前期准备

实验数据集（Kaggle: Telco Customer Churn）

运行商用户流失预测：字段0~19是用户属性，字段20为标签（Churn: True 表示客户流失）。

Available features:  ['gender', 'SeniorCitizen', 'Partner', 'Dependents', 'tenure', 'PhoneService', 'MultipleLines', 'InternetService', 'OnlineSecurity', 'OnlineBackup', 'DeviceProtection', 'TechSupport', 'StreamingTV', 'StreamingMovies', 'Contract', 'PaperlessBilling', 'PaymentMethod', 'MonthlyCharges', 'TotalCharges']

Label Balance - [No Churn, Churn] :  [5163, 1869]

数据集包含 7,043 个用户，其中约 25% 的为流失用户。每个用户的 20 个特征中包含用户的固有属性（gender 性别、SeniorCitizen 是否老年人、Partner 是否单身 等），以及描述开通服务（PhoneService 电话业务、MultipleLines 多线业务、InternetService 网络服务 等）、用户账户（Contract 合同方式、PaperlessBilling 电子账单、MonthlyCharges 月费用 等）的信息。

• 数据集的特征中即包含连续数据，又包含类别数据；
• 根据模型的类型，可以将类别字段用不同的方法表示。例如，基于树的模型可以直接使用类别编码来训练，而其他模型（线性回归、神经网络等）使用独热编码的类别变量会取得更好的效果。

Evaluating Explanation Methods for Deep Learning in Security

EuroS&P 2020, Code available

Alexander Warnecke, Konrad Rieck（德国布伦瑞克工业大学）

Abstract

深度学习在安全中被越来越广泛地应用，但不幸的是，由于NN难以解释，其决策往往对于实践者来说是晦涩难懂的。

尽管ML社区开始对解释预测结果做出了一些努力，且有的被成功应用到了计算机视觉领域，在安全领域的应用却很少受到关注。

因此，“适用于安全领域的可解释性方法是什么样的，以及他们需要满足什么需求”仍是一个开放式问题。

It is an open question which explanation methods are appropriate for computer security and what requirements they need to satisfy.

在本文中，作者从计算机安全的角度设计了比较和评估可解释性方法的标准（涵盖了的属性有general和security-focused）。在这些标准的基础上，调研了6种常用的可解释性方法，在恶意应用检测、漏洞挖掘的安全应用上评价了他们的功效。

实验表明这几种方法的结果间存在明显的差异性，作者在此基础上给出了通用的选取和应用这些可解释性方法的建议。