Lime 解释器显示与分类器预测不同的预测概率 - 情感分析

     2023-02-16     297

关键词:

【中文标题】Lime 解释器显示与分类器预测不同的预测概率 - 情感分析【英文标题】:Lime explainer shows prediction probabilities different to the classifier prediction - sentiment analysis 【发布时间】:2019-06-15 17:37:45 【问题描述】:

我正在使用 Lime 来追踪模型为何决定预测这句话是(NEG、POS 或 NEUTRAL)背后的行为,并且在大多数情况下,lime 解释正确,但在这种情况下,为什么我输入 NEG 句子,模型将其预测为 NEUTRAL,但 Lime 以 NEG 最高百分比对其进行可视化,那么为什么我会出现这样的逻辑错误?

Model prediction vs Lime prediction

【问题讨论】:

【参考方案1】:

你没有提供很多细节,所以我的回答同样笼统:你的原始模型做出了错误的预测。然后石灰对模型进行线性近似。由于线性模型的近似性质,这与原始模型不完全一样,并且与原始模型有偏差。在您的情况下,原始模型给出了错误的预测,并且线性近似的偏差是 - 偶然地 - 朝着正确答案的方向,因此尽管原始模型是错误的,但您偶然地从近似值中得到正确的答案.

【讨论】:

很抱歉没有提供足够的细节。因此,我用三个标签(POS、NEG、NEUTRAL)注释了数据集,并且我在我的模型中使用了分类器,例如 SVM.SVC 或 LinearSVC 进行分类。我生成 .pkl 文件以保持训练后的模型不变并打开它以预测输入。当我预测输入并使用 LIME 进行可视化时,我得到了类似 NEG 的标签,但 Lime 将 NEUTRAL 的百分比可视化超过了 NEG。这里的 Q 是 Lime 显示与模型结果不同的可视化的原因。 很抱歉,我没有足够的声望来投票。你给我提供了背后的原因,很好,但我想解决这样的问题,我该怎么办? 您的意思是局部线性 LIME 模型的结果为您提供标签 NEUTRAL 的最高概率,但 LIME 的可视化返回标签 NEG?也许可视化显示了原始模型的标签(可能是 NEG),但是局部线性 LIME 模型的概率(对于 NEUTRAL 来说是最高的)?请编辑您的问题,以便您发布代码和预测答案 a)原始值,b)局部线性 LIME 模型和 c)还绘制 LIME 的可视化。这样就更容易理解你的问题了。

论文阅读lime概要及代码案例

...释模型,以一种可解释的和可信赖的方法来解释任何分类器的预测。主要贡献总结如下:LIME:一种通过用可解释性模型对预测进行局部近似,以一种可信赖的方式对于任何分类器或回归器预测进行解释的算法。SP-... 查看详情

r语言构建文本分类模型并使用lime进行模型解释实战:文本数据预处理构建词袋模型构建xgboost文本分类模型基于文本训练数据以及模型构建lime解释器解释多个测试语料的预测结果并可视化

R语言构建文本分类模型并使用LIME进行模型解释实战:文本数据预处理、构建词袋模型、构建xgboost文本分类模型、基于文本训练数据以及模型构建LIME解释器解释多个测试语料的预测结果并可视化目录 查看详情

r语言构建文本分类模型并使用lime进行模型解释实战:文本数据预处理构建词袋模型构建xgboost文本分类模型基于文本训练数据以及模型构建lime解释器解释一个测试语料的预测结果并可视化

R语言构建文本分类模型并使用LIME进行模型解释实战:文本数据预处理、构建词袋模型、构建xgboost文本分类模型、基于文本训练数据以及模型构建LIME解释器解释一个测试语料的预测结果并可视化目录 查看详情

r语言基于自定义函数构建xgboost模型并使用lime解释器进行模型预测结果解释:基于训练数据以及模型构建lime解释器解释多个iris数据样本的预测结果使用lime解释器进行模型预测结果解释

R语言基于自定义函数构建xgboost模型并使用LIME解释器进行模型预测结果解释:基于训练数据以及模型构建LIME解释器解释多个iris数据样本的预测结果、使用LIME解释器进行模型预测结果解释并可视化目录 查看详情

r语言基于自定义函数构建xgboost模型并使用lime解释器进行模型预测结果解释:基于训练数据以及模型构建lime解释器解释一个iris数据样本的预测结果lime解释器进行模型预测结果解释并可视化

R语言基于自定义函数构建xgboost模型并使用LIME解释器进行模型预测结果解释:基于训练数据以及模型构建LIME解释器解释一个iris数据样本的预测结果、LIME解释器进行模型预测结果解释并可视化目录 查看详情

多类分类:概率和校准

】多类分类:概率和校准【英文标题】:Multiclassclassification:probabilitiesandcalibration【发布时间】:2020-05-2309:34:34【问题描述】:我正在使用Python和scikit-learn处理具有不同分类器的多类分类问题。我想使用预测概率,主要是比较不... 查看详情

SPARK ML,朴素贝叶斯分类器:一类的高概率预测

】SPARKML,朴素贝叶斯分类器:一类的高概率预测【英文标题】:SPARKML,NaiveBayesclassifier:highprobabilitypredictionforoneclass【发布时间】:2016-03-2219:24:37【问题描述】:我正在使用SparkML优化朴素贝叶斯多类分类器。我有大约300个类别,... 查看详情

SPARK ML,朴素贝叶斯分类器:一类的高概率预测

】SPARKML,朴素贝叶斯分类器:一类的高概率预测【英文标题】:SPARKML,NaiveBayesclassifier:highprobabilitypredictionforoneclass【发布时间】:2016-09-1614:42:58【问题描述】:我正在使用SparkML优化朴素贝叶斯多类分类器。我有大约300个类别,... 查看详情

学习打卡07可解释机器学习笔记之shape+lime代码实战(代码片段)

...;Lime代码实战基于Shapley值的可解释性分析使用Pytorch对MNIST分类可解释性分析使用shap的DeepExplainer进行可视化使用Pytorch对预训练ImageNet图像分类可解释性分析指定单个预测类别指定多个预测类别前k个预测类别LIME代码实战对葡萄酒... 查看详情

学习打卡07可解释机器学习笔记之shape+lime代码实战(代码片段)

...;Lime代码实战基于Shapley值的可解释性分析使用Pytorch对MNIST分类可解释性分析使用shap的DeepExplainer进行可视化使用Pytorch对预训练ImageNet图像分类可解释性分析指定单个预测类别指定多个预测类别前k个预测类别LIME代码实战对葡萄酒... 查看详情

贝叶斯分类对股票走势预测

上一文介绍了K均值对股票K线分类,该文对它做一个应用,通过贝叶斯分类器进行股票走势的预测。好多炒股的大牛都说看K线判断次日的涨跌,按照这个思路,我们将前六根k线做为输入,涨幅超过2个点为1作为输出训练贝叶斯分... 查看详情

如何根据预测的类别概率准备混淆矩阵?

...个使用给定训练数据创建的朴素贝叶斯分类器。在表中,显示了预测的正类概率和实际的类标签。我想准备混淆矩阵,但只知道概率我不知道怎么做。IDActualclasslabelPredictedposit 查看详情

Tabnet 分类器预测返回 0 和 1 值

】Tabnet分类器预测返回0和1值【英文标题】:TabnetClassifierpredictionsreturning0and1values【发布时间】:2022-01-1622:19:47【问题描述】:我正在尝试使用tabnet构建分类模型。我想输出0和1的概率(即0和1之间的值)。我成功地训练了模型,... 查看详情

朴素贝叶斯分类算法预测具有属性的人是不是买电脑python

它是一种基于贝叶斯定理的分类技术,具有预测者之间的独立性假设。简单地说,朴素贝叶斯分类器假定类中的特定特征的存在与任何其他特征的存在无关。例如,水果如果是红色的、圆的、直径约3英寸的,那么久可以被认为... 查看详情

预测技术与方法

...70年代,预测作为一门学科,在美国逐步兴起。3、预测的分类按照不同的分类标准,有不同的分类:按照预测的范围或层次分类:宏观预测与微观预测按照时间长短分类:长期 查看详情

Lime 包无法获得 CaretStack 的预测

】Lime包无法获得CaretStack的预测【英文标题】:LimepackagenotabletogetpredictionsforCaretStack【发布时间】:2019-07-2620:08:11【问题描述】:我通过将模型堆叠在一起构建了一个Caret集成模型。模型运行成功,我得到了令人鼓舞的结果。当我... 查看详情

显示概率和目标值的机器学习预测

】显示概率和目标值的机器学习预测【英文标题】:MachineLearningPredictionwithProbabilityandTargetValuedisplayed【发布时间】:2020-10-0810:40:14【问题描述】:我创建了一个多分类SVC模型,该模型基于文本将输入文本分类为约100个目标值之一... 查看详情

高斯贝叶斯分类器与逻辑回归的概率分类

】高斯贝叶斯分类器与逻辑回归的概率分类【英文标题】:ProbabilisticclassificationwithGaussianBayesClassifiervsLogisticRegression【发布时间】:2019-04-1917:23:08【问题描述】:我有一个二元分类问题,其中我有一些很棒的功能可以预测几乎100%... 查看详情