使用 Vowpal Wabbit 时计算 AUC

     2023-03-12     171

关键词:

【中文标题】使用 Vowpal Wabbit 时计算 AUC【英文标题】:Calculating AUC when using Vowpal Wabbit 【发布时间】:2014-08-07 12:10:39 【问题描述】:

有没有在 Vowpal Wabbit 中计算 AUC?

我使用 Vowpal Wabbit 的原因之一是数据文件的大小。 我可以使用 Vowpal Wabbit 的输出计算 Vowpal Wabbit 环境之外的 AUC,但如果数据文件很大,这可能会出现问题。

【问题讨论】:

【参考方案1】:

目前,大众无法举报AUC。更糟糕的是,它不能直接针对 AUC 进行优化。 AUC优化不兼容在线学习,但有一些approximations of AUC suitable for optimizing。

关于您的问题,您不需要将带有原始预测的中间文件存储在磁盘上。您可以将其直接通过管道传输到外部评估工具(在这种情况下为perf):

vw -d test.data -t -i model.vw -r /dev/stdout | perf -roc -files gold /dev/stdin

编辑: John Langford confirmed 认为 AUC 通常可以通过改变假阳性和假阴性损失的比率来优化。在大众汽车中,这意味着为正面和负面示例设置不同的importance weight。您需要使用保留集(或交叉验证,或用于一次性学习的渐进式验证损失)来调整最佳权重。

【讨论】:

Vowpal Wabbit 的梯度提升

...【发布时间】:2015-07-1214:11:02【问题描述】:有没有办法使用VowpalWabbit对回归使用梯度提升?我使用VowpalWabbit附带的各种有用的技术。我想尝试梯度提升,但我找不到在大众汽车上实现梯度提升的方法。【问题讨论】:【参考方... 查看详情

Vowpal Wabbit 多类线性分类

...ion【发布时间】:2016-09-2103:19:40【问题描述】:是否可以使用VowpalWabbit库训练多类(多项式)线性分类模型?我尝试将--oaa与--loss_function平方一起使用,但似乎--oaa的默认损失函数是逻辑。我使用rcv1.multiclass作为输入。一个解决... 查看详情

Vowpal Wabbit Logistic 回归

...ession【发布时间】:2015-01-0604:03:17【问题描述】:我正在使用VowpalWabbit对具有25个特征和4800万个实例的数据集执行逻辑回归。我对当前预测值有疑问。它应该在0或1以内。averagesinceexampleexamplecurrentcurrentcurrentlosslastcounter 查看详情

Vowpal Wabbit:不平衡的类

...edclasses【发布时间】:2016-02-0812:36:24【问题描述】:我想使用VowpalWabbit执行逻辑回归。如何处理不平衡的类(例如1000/50000)?我知道我可以使用重要性加权,但我不确定在这种情况下这是最好的选择。还有一些算法,比如SMOTE,... 查看详情

使用 Vowpal wabbit 的上下文强盗

】使用Vowpalwabbit的上下文强盗【英文标题】:ContextualBanditusingVowpalwabbit【发布时间】:2015-08-0620:42:25【问题描述】:在这种情况下,输入之一是选择手臂/动作的概率,但我们如何找到该概率?找到这个概率本身不是一项艰巨的... 查看详情

使用 Vowpal Wabbit 获得未校准的概率输出,广告转化预测

】使用VowpalWabbit获得未校准的概率输出,广告转化预测【英文标题】:GettinguncalibratedprobabilityoutputswithVowpalWabbit,ad-conversionprediction【发布时间】:2016-10-0817:17:51【问题描述】:我正在尝试使用VowpalWabbit来预测广告展示的转化率,... 查看详情

Vowpal Wabbit中逻辑回归的正确性?

...【发布时间】:2014-09-0910:21:17【问题描述】:我已经开始使用VowpalWabbit进行逻辑回归,但是我无法重现它给出的结果。也许它确实有一些未记录的“魔法”,但有没有人能够复制/验证/检查逻辑回归的计算?例如,使用下面的简... 查看详情

Vowpal Wabbit - 精确召回 f 测量

...measure?是否有任何可用的脚本或程序通常用于vw的输出?使用playtennis.txt中的以下数据做一个最小的例子:2|sunny8585false2|s 查看详情

在交叉验证方面需要一些关于 Vowpal Wabbit 的指示

...搜索(尝试不同的损失函数和正则化等)。由于模型可以使用多次传递,我想使用交叉验证。我想知道我是否应该实现自己的交叉验证代码(也许作为bash脚本 查看详情

在守护进程模式下从 Vowpal Wabbit 获取原始预测

...onmode【发布时间】:2014-10-0613:54:59【问题描述】:我正在使用以下命令以守护程序模式启动VowpalWabbit:vw--loss_functionhinge--ect250--quiet--passes5-b25--daemon--port10001--pid_fi 查看详情

Vowpal Wabbit 如何表示分类特征

】VowpalWabbit如何表示分类特征【英文标题】:VowpalWabbithowtorepresentcategoricalfeatures【发布时间】:2015-04-2219:57:57【问题描述】:我有以下所有分类变量的数据:classeducationincomesocial_standing1basiclowgood0lowhighV_good1highlownot_good0v_highhighgood... 查看详情

Vowpal Wabbit reverse_hash 选项产生空输出,但为啥呢?

...【发布时间】:2014-08-1716:44:43【问题描述】:我正在尝试使用倒置哈希保存一个vowpalwabbit模型。我有一个使用以下内容生成的有效模型 查看详情

Vowpal Wabbit 模型在使用像素 RGB 值对图像进行多类分类时效果不佳

】VowpalWabbit模型在使用像素RGB值对图像进行多类分类时效果不佳【英文标题】:VowpalWabbitmodelworksbadlyonmulticlassclassificationofimagesusingpixelRGBvalues【发布时间】:2015-07-1022:12:20【问题描述】:我正在使用VowpalWabbit对多类图像进行分类... 查看详情

Vowpal Wabbit 不预测二进制值,可能是过度训练?

...【发布时间】:2016-11-2903:50:00【问题描述】:我正在尝试使用VowpalWabbit进行二进制分类,即给定特征值vw会将其分类为1或0。这就是我对训练数据进行格式化的方式。1\'name|feature1:0feature2:1featu 查看详情

Vowpal Wabbit:低秩矩阵分解?

】VowpalWabbit:低秩矩阵分解?【英文标题】:VowpalWabbit:Low-rankmatrixfactorization?【发布时间】:2016-12-2617:08:05【问题描述】:我有一个非常基本的问题。我想做低秩矩阵分解,我正在查看有关该主题的VowpalWabbitdocumentation。我的问题... 查看详情

--oaa 2 和 --loss_function=logistic 在 Vowpal Wabbit 中的效果

...发布时间】:2014-08-3117:31:36【问题描述】:我应该在VW中使用哪些参数来执行二元分类任务?例如,让我们使用rcv1_small.dat。我thought最好使用逻辑损失函数(或铰链),使用--oaa 查看详情

如何将 Vowpal Wabbit 逻辑预测转换为概率

】如何将VowpalWabbit逻辑预测转换为概率【英文标题】:HowtoconvertVowpalWabbitlogisticpredictionstoprobabilities【发布时间】:2015-09-2902:01:29【问题描述】:我给了vowpalwabbit一个带有两个标签的数据集,并用它进行了逻辑回归。问题是,它... 查看详情

由于 vowpal wabbit 对 boost 库的依赖而导致的错误

】由于vowpalwabbit对boost库的依赖而导致的错误【英文标题】:Errorsduetovowpalwabbit\'sdependenciesonboostlibrary【发布时间】:2012-07-1108:48:55【问题描述】:我正在努力安装vowpalwobbit,但当我运行make文件时它失败了,抛出:cdlibrary;make;cd..g... 查看详情