python机器学习Github已达8.9Kstars模型解释器LIME
简单的模型例如线性回归，LR等模型非常易于解释，但在实际应用中的效果却远远低于复杂的梯度提升树模型以及神经网络等模型。
现在大部分互联网公司的建模都是基于梯度提升树或者神经网络模型等复杂模型，遗憾的是，这些模型虽然效果好，但是我们却较难对其进行很好地解释，这也是目前一直困扰着大家的一个重要问题，现在大家也越来越加关注模型的解释性。
本文介绍一种解释机器学习模型输出的方法LIME。它可以认为是SHARP的升级版，Github链接：https://github.com/marcotcr/lime，有所收获多多支持
LIME
LIME（Local Interpretable Model-agnostic Explanations）支持的模型包括：
- 结构化模型的解释；
- 文本分类器的解释；
- 图像分类器的解释；
LIME被用作解释机器学习模型的解释，通过LIME我们可以知道为什么模型会这样进行预测。
本文我们就重点观测一下LIME是如何对预测结果进行解释的。
代 码
此处我们使用winequality-white数据集，并且将quality<=5设置为0，其它的值转变为1.
# !pip install lime import pandas as pd from xgboost import XGBClassifier import shap import numpy as np from sklearn.model_selection import train_test_split
df = pd.read_csv('./data/winequality-white.csv',sep = ';')
df['quality'] = df['quality'].apply(lambda x: 0 if x <= 5 else 1)
df.head()
# 训练集测试集分割
X = df.drop('quality', axis=1)
y = df['quality']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=1)
# 模型训练
model = XGBClassifier(n_estimators = 100, random_state=42)
model.fit(X_train, y_train)
score = model.score(X_test, y_test)
score
The use of label encoder in XGBClassifier is deprecated and will be removed in a future release. 0.832653061224489
对单个样本进行预测解释
下面的图中表明了单个样本的预测值中各个特征的贡献。
import lime
from lime import lime_tabular
explainer = lime_tabular.LimeTabularExplainer(
training_data=np.array(X_train),
feature_names=X_train.columns,
class_names=['bad', 'good'],
mode='classification'
)
模型有84%的置信度是坏的wine，而其中alcohol,totals ulfur dioxide是最重要的。
import lime
from lime import lime_tabular
explainer = lime_tabular.LimeTabularExplainer(
training_data=np.array(X_train),
feature_names=X_train.columns,
class_names=['bad', 'good'],
mode='classification'
)
模型有59%的置信度是坏的wine，而其中alcohol,chlorides, density, citric acid是最重要的预测参考因素。
exp = explainer.explain_instance(data_row=X_test.iloc[1], predict_fn=model.predict_proba) exp.show_in_notebook(show_table=True)
适用问题
LIME可以认为是SHARP的升级版，它通过预测结果解释机器学习模型很简单。它为我们提供了一个很好的方式来向非技术人员解释地下发生了什么。您不必担心数据可视化，因为LIME库会为您处理数据可视化。
参考链接
https://www.kaggle.com/piyushagni5/white-wine-quality
LIME: How to Interpret Machine Learning Models With Python
https://github.com/marcotcr/lime
https://mp.weixin.qq.com/s/47omhEeHqJdQTtciLIN2Hw
以上就是Github已达8.9Kstars的最佳模型解释器LIME的详细内容，更多关于模型解释器LIME的资料请关注脚本之家其它相关文章！
相关文章
今天小编就为大家分享一篇python-序列解包(对可迭代元素的快速取值方法)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-08-08
在写着自动化测试的脚本时重新复习了一下正则表达式findall()方法,下面这篇文章主要给大家介绍了关于python中正则表达式findall用法的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-09-09
这篇文章主要介绍了python发送告警邮件脚本的配置方法，zabbix通过python脚本发告警邮件，具有一定的参考价值，感兴趣的小伙伴们可以参考一下2018-09-09
今天小编就为大家分享一篇python求绝对值的三种方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
这篇文章主要介绍了浅谈Python中的zip()与*zip()函数详解，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧2018-02-02
这篇文章主要介绍了djang常用查询SQL语句的使用代码，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧2019-02-02
这篇文章主要介绍了如何基于pythonnet调用halcon脚本,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下2020-01-01
今天小编就为大家分享一篇Pytorch 多维数组运算过程的索引处理方式，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2019-12-12
小编就为大家分享一篇python利用有道翻译实现"语言翻译器"的功能实例。具有比较好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧2017-11-11
这篇文章主要介绍了matlab图像灰度调整及imadjust函数的用法详解,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下2020-02-02
最新评论