在交叉验证方面需要一些关于 Vowpal Wabbit 的指示

关键词：

【中文标题】在交叉验证方面需要一些关于 Vowpal Wabbit 的指示【英文标题】：Need some pointers on Vowpal Wabbit with respect to cross validation 【发布时间】：2013-09-21 08:21:07 【问题描述】：

我的目标是在参数空间中对各种 VW 模型进行网格搜索（尝试不同的损失函数和正则化等）。由于模型可以使用多次传递，我想使用交叉验证。我想知道我是否应该实现自己的交叉验证代码（也许作为 bash 脚本），或者我是否应该重新发明***。任何关于这之前是否已经完成等或最佳方法的指示都是有用的。我正在考虑在 bash 脚本中实现交叉验证并使用 GNU 并行来并行化网格搜索

【问题讨论】：

【参考方案1】：

你应该试试 vw-hypersearch perl 脚本 (https://github.com/JohnLangford/vowpal_wabbit/blob/HEAD/utl/vw-hypersearch)，它也可以在 VW 的 utl 目录中找到。它可以帮助您调整 VW 参数，但至于交叉验证，您必须实现自己的代码，为算法提供您打算验证的数据折叠。

【讨论】：

我猜 LucaM 给出答案时该页面不存在，但以下链接有一些很好的说明：github.com/JohnLangford/vowpal_wabbit/wiki/Using-vw-hypersearch【参考方案2】：

请允许我分两次回答这个问题，

交叉验证：大众汽车中没有相同的标志。原因 即使是交叉验证后，人们也会在未来进行测试 根据一些度量分割和评估模型的学习 来自混淆矩阵。

超参数搜索：vw-hypersearch 使用黄金比例搜索来搜索 当提供范围时，为给定参数的最佳值。金的 比率搜索适用于以下功能 单调递增或递减。搜索时 一堆参数函数不再是单调的 增减函数。这可以像你一样使用 曾指出

-- 网格搜索：非常消耗 CPU 和时间。（我们总是打架 随着时间的推移）

-- 随机搜索：非常有效的参考： [http://dl.acm.org/citation.cfm?id=2188395][1]

【讨论】：

如何在 MatLab 中对 LIBSVM 执行多类交叉验证

】如何在MatLab中对LIBSVM执行多类交叉验证【英文标题】：Howtoperformmulti-classcross-validationforLIBSVMinMatLab【发布时间】：2015-06-0122:37:44【问题描述】：我想在MatLab中使用LIBSVM来做一些多类分类。我已经读过LIBSVM在提供多个标签时默认... 查看详情

如何在 Scikit-Learn 中绘制超过 10 倍交叉验证的 PR 曲线

】如何在Scikit-Learn中绘制超过10倍交叉验证的PR曲线【英文标题】：HowtoPlotPR-CurveOver10foldsofCrossValidationinScikit-Learn【发布时间】：2015-06-2118:53:33【问题描述】：我正在针对二元预测问题进行一些监督实验。我使用10倍交叉验证来评... 查看详情

如何在 R 中使用 LibSVM 执行 10 折交叉验证？

】如何在R中使用LibSVM执行10折交叉验证？【英文标题】：Howtoperform10foldcrossvalidationwithLibSVMinR?【发布时间】：2012-11-0102:19:27【问题描述】：我知道在MatLab中这非常简单（\'-v10\'）。但我需要在R中执行此操作。我确实找到了一条关... 查看详情

交叉验证

参考技术A  交叉验证（Cross-Validation）可能是数据科学家在进行统计分析时最重要的技术之一，因为在实际中经常需要验证一个ML模型的稳定性--模型在新数据集上的泛化能力。它需要确保由数据集得到的ML模型已经获得... 查看详情

如何在使用交叉验证训练 xgboost 模型时跟踪进度？

】如何在使用交叉验证训练xgboost模型时跟踪进度？【英文标题】：howtotrackprogresswhiletrainingxgboostmodelwithcrossvalidation?【发布时间】：2021-09-0107:17:21【问题描述】：我需要使用xgboost和交叉验证来跟踪训练模型的进度，具体取决于交... 查看详情

关于 k 折交叉验证的建议

】关于k折交叉验证的建议【英文标题】：Adviceonkfoldcrossvalidation【发布时间】：2016-02-1719:02:05【问题描述】：我目前正在使用代码对dicom图像进行支持向量机分类的交叉验证方法：#CrossValidationusingk-foldsclf=svm.SVC(kernel=\'linear\')scores=... 查看详情

为啥我们需要在 multiSVM 方法中进行交叉验证来进行图像分类？

】为啥我们需要在multiSVM方法中进行交叉验证来进行图像分类？【英文标题】：whyweneedcrossvalidationinmultiSVMmethodforimageclassification?为什么我们需要在multiSVM方法中进行交叉验证来进行图像分类？【发布时间】：2013-12-3112:47:26【问题... 查看详情

关于openssl的交叉编译(代码片段)

...，可以使用./config或者./Configure来完成。网上也查了一些交叉编译的说明，经常在config之后，还要手动的修改makefile才行。这种就对我这种需要维护N种交叉编译环境的人来说，就比较头疼了。按常理讲，openssl这种用途如此广的开... 查看详情

r语言randomforest包做回归预测需要交叉验证么

...一定是oob，所以还是有train过的数据集，因此仍然需要做交叉验证. 查看详情

交叉验证

交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。... 查看详情

交叉验证的目的是啥？ [关闭]

】交叉验证的目的是啥？[关闭]【英文标题】：Whatisthepurposeofcross-validation?[closed]交叉验证的目的是什么？[关闭]【发布时间】：2015-06-2608:11:43【问题描述】：我现在正在阅读一本关于机器学习的书。在NaiveBayesClassifier上工作，作... 查看详情

交叉验证

　　交叉验证是在机器学习建立模型和验证模型参数时常用的办法。交叉验证，顾名思义，就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好... 查看详情

交叉验证，k折交叉验证的偏差和方差分析

参考技术A交叉验证是一种通过估计模型的泛化误差，从而进行模型选择的方法。没有任何假定前提，具有应用的普遍性，操作简便，是一种行之有效的模型选择方法。人们发现用同一数据集，既进行训练，又进行模型误差估计... 查看详情

交叉熵损失函数关于交叉熵损失函数的一些理解

...言1.损失函数（LossFunction）1.1损失项1.2正则化项2.交叉熵损失函数2.1softmax2.2交叉熵0.前言有段时间没写博客了，前段时间主要是在精读一些计算机视觉的论文（比如yolov1），以及学cs231n这门AI和计算机视觉领... 查看详情

我是不是需要同时执行网格搜索（使用交叉验证）和交叉验证方法？

】我是不是需要同时执行网格搜索（使用交叉验证）和交叉验证方法？【英文标题】：DoIneedtoperformbothgridsearch(withcrossvalidation)andthenacrossvalidationmethod?我是否需要同时执行网格搜索（使用交叉验证）和交叉验证方法？【发布时间】... 查看详情

交叉验证与网格搜索

参考技术A交叉验证与网格搜索是机器学习中的两个非常重要且基本的概念，但是这两个概念在刚入门的时候并不是非常容易理解与掌握，自己开始学习的时候，对这两个概念理解的并不到位，现在写一篇关于交叉验证与网格搜... 查看详情

观察学习曲线(代码片段)

交叉验证交叉验证可以用来估计一个模型的泛化能力，如果一个模型在训练集上表现良好，通过交叉验证指标却得出其泛化能力很差，那么模型就是过拟合了；如果这两个方面表现的都不好，那么它就是欠拟合了，这个方法可以... 查看详情

在插入符号交叉验证期间计算模型校准？

】在插入符号交叉验证期间计算模型校准？【英文标题】：Calculatemodelcalibrationduringcross-validationincaret?【发布时间】：2015-04-0602:24:57【问题描述】：第一次发帖，新手错误请见谅我在R中使用caret包进行分类。我在训练集上使用重... 查看详情