正文

如何在 keras 中实现自定义指标？

 2023-02-15  145

关键词：

【中文标题】如何在 keras 中实现自定义指标？【英文标题】：how to implement custom metric in keras? 【发布时间】：2016-10-06 01:13:54 【问题描述】：

我得到这个错误：

sum() 得到了一个意外的关键字参数 'out'

当我运行这段代码时：

import pandas as pd, numpy as np
import keras
from keras.layers.core import Dense, Activation
from keras.models import Sequential

def AUC(y_true,y_pred):
    not_y_pred=np.logical_not(y_pred)
    y_int1=y_true*y_pred
    y_int0=np.logical_not(y_true)*not_y_pred
    TP=np.sum(y_pred*y_int1)
    FP=np.sum(y_pred)-TP
    TN=np.sum(not_y_pred*y_int0)
    FN=np.sum(not_y_pred)-TN
    TPR=np.float(TP)/(TP+FN)
    FPR=np.float(FP)/(FP+TN)
    return((1+TPR-FPR)/2)

# Input datasets

train_df = pd.DataFrame(np.random.rand(91,1000))
train_df.iloc[:,-2]=(train_df.iloc[:,-2]>0.8)*1


model = Sequential()
model.add(Dense(output_dim=60, input_dim=91, init="glorot_uniform"))
model.add(Activation("sigmoid"))
model.add(Dense(output_dim=1, input_dim=60, init="glorot_uniform"))
model.add(Activation("sigmoid"))

model.compile(optimizer='rmsprop',loss='binary_crossentropy',metrics=[AUC])


train_df.iloc[:,-1]=np.ones(train_df.shape[0]) #bias
X=train_df.iloc[:,:-1].values
Y=train_df.iloc[:,-1].values
print X.shape,Y.shape

model.fit(X, Y, batch_size=50,show_accuracy = False, verbose = 1)

除了批量循环和编辑源代码之外，是否可以实现自定义指标？

【问题讨论】：

【参考方案1】：

问题在于 y_pred 和 y_true 不是 NumPy 数组，而是 Theano 或 TensorFlow 张量。这就是您收到此错误的原因。

您可以定义自定义指标，但您必须记住，它的参数是那些张量，而不是 NumPy 数组。

【讨论】：

您能否详细说明如何解决这个问题？如何将张量转换为 numpy 数组？您需要将张量视为代数变量。您不能将 numpy 数组转换为张量。您只能将 numpy 数组分配为张量的值。我不想将 numpy 数组转换为张量，但反过来。如果我们采用 OP 的功能，我尝试了：def AUC(y_true,y_pred): numpy_y_true = y_true.eval() ... return ... 但它没有用。您将如何解决 OP 的问题？自定义指标不能是典型的数字返回函数。甚至 "def auc(y_true, y_pred): return 1.0" 也不起作用。在看到任何训练示例之前，度量函数在编译时被调用一次。确实如此。但是输入仍然需要是张量【参考方案2】：

在这里，我回答的是 OP 的主题问题，而不是他的确切问题。我这样做是因为当我用谷歌搜索主题问题时，问题会显示在顶部。

您可以通过两种方式实现自定义指标。

如Keras docu 中所述。

import keras.backend as K

def mean_pred(y_true, y_pred):
    return K.mean(y_pred)

model.compile(optimizer='sgd',
          loss='binary_crossentropy',
          metrics=['accuracy', mean_pred])

但在这里你必须记住，正如 Marcin Możejko 的回答中提到的那样，y_true 和 y_pred 是张量。因此，为了正确计算您需要使用keras.backend 功能的指标。详情请看这个 SO question How to calculate F1 Macro in Keras?

或者你可以用Keras GH issue 中提到的hacky 方式来实现它。为此，您需要使用model.fit 的callbacks 参数。

import keras as keras
import numpy as np
from keras.optimizers import SGD
from sklearn.metrics import roc_auc_score

model = keras.models.Sequential()
# ...
sgd = SGD(lr=0.001, momentum=0.9)
model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['accuracy'])


class Metrics(keras.callbacks.Callback):
    def on_train_begin(self, logs=):
        self._data = []

    def on_epoch_end(self, batch, logs=):
        X_val, y_val = self.validation_data[0], self.validation_data[1]
        y_predict = np.asarray(model.predict(X_val))

        y_val = np.argmax(y_val, axis=1)
        y_predict = np.argmax(y_predict, axis=1)

        self._data.append(
            'val_rocauc': roc_auc_score(y_val, y_predict),
        )
        return

    def get_data(self):
        return self._data

metrics = Metrics()
history = model.fit(X_train, y_train, epochs=100, validation_data=(X_val, y_val), callbacks=[metrics])
metrics.get_data()

【讨论】：

我建议使用 self.model 而不是 model 以便可以将此类隐藏在不同的文件中。 @对于使用大型验证数据集的人，您将面临两倍的验证时间。一项由 keras 完成验证，一项由您的指标通过调用 predict 完成。另一个问题是现在您的指标使用 GPU 进行预测，而 cpu 使用 numpy 计算指标，因此 GPU 和 CPU 是串行的。如果指标计算成本很高，您将面临更差的 GPU 利用率，并且必须进行已经在 keras 中完成的优化。 @saurabheights 任何解决方法，然后使用回调当我使用这段代码时，我认为validation_data不会传递给on_epoch_end方法，它说None type not subscriptable 这种技术效果很好。提示：使用y_predict = np.asarray(model.predict(X_val, batch_size=32768)) 减少预测时间，在我的例子中它从 14 秒变为 0.40 秒。【参考方案3】：

您可以在 AUC 度量函数中传递 model.predict()。 [这将在 bacthes 上进行迭代，因此您最好使用 model.predict_on_batch()。假设你有类似 softmax 层的东西作为输出（输出概率的东西），那么你可以将它与 sklearn.metric 一起使用来获得 AUC。

from sklearn.metrics import roc_curve, auc

来自here

def sklearnAUC(test_labels,test_prediction):
    n_classes = 2
    # Compute ROC curve and ROC area for each class
    fpr = dict()
    tpr = dict()
    roc_auc = dict()
    for i in range(n_classes):
        # ( actual labels, predicted probabilities )
        fpr[i], tpr[i], _ = roc_curve(test_labels[:, i], test_prediction[:, i])
        roc_auc[i] = auc(fpr[i], tpr[i])

    return round(roc_auc[0],3) , round(roc_auc[1],3)

现在制定您的指标

# gives a numpy array like so [ [0.3,0.7] , [0.2,0.8] ....]    
Y_pred = model.predict_on_batch ( X_test  ) 
# Y_test looks something like [ [0,1] , [1,0] .... ]
# auc1 and auc2 should be equal
auc1 , auc2 = sklearnAUC(  Y_test ,  Y_pred )

【讨论】：

如何在 keras 模型中实现汉明损失作为自定义指标

】如何在keras模型中实现汉明损失作为自定义指标【英文标题】：howtoimplementhamminglossasacustommetricinkerasmodel【发布时间】：2021-03-2901:21:25【问题描述】：如何在keras模型中将汉明损失作为自定义指标实现我有一个包含6个类的多标签... 查看详情

如何在 iPhone 中实现自定义相机功能？ [关闭]

】如何在iPhone中实现自定义相机功能？[关闭]【英文标题】：HowtoimplementcustomcamerafunctionalityiniPhone?[closed]【发布时间】：2011-08-1605:07:13【问题描述】：我想开发一种功能，以便在iPhone应用程序中实现自定义相机功能，所以请给我... 查看详情

如何在黄瓜中实现自定义监听器？

】如何在黄瓜中实现自定义监听器？【英文标题】：Howtoimplementcustomlistenersincucumber?【发布时间】：2021-12-2214:55:47【问题描述】：如何在cucumber中实现客户监听？哪个可以记录到控制台/报告失败方法的发生？使用黄瓜4.0注意：钩... 查看详情

如何在 TCPDF 中实现自定义字体

】如何在TCPDF中实现自定义字体【英文标题】：HowtoimplementcustomfontsinTCPDF【发布时间】：2011-07-1222:11:47【问题描述】：在TCPDF中，只有几种字体可供选择，用于创建pdf文件。我想将Tahoma设置为我的pdf字体。如何在TCPDF中包含Tahoma？... 查看详情

如何在canvas中实现自定义路径动画(代码片段)

...塞尔曲线，因此，这个动画也许是下面这个样子的：那么如何才能在canvas中实现这种动画效果呢？其实很简单，对于路径的处理svg非常在行，因此在canvas中实现自定义路径动画，我们需要借助svg的力量。创建Path制作动画前，先... 查看详情

如何在 UIImagePicker 中实现自定义“使用”和“重拍”按钮？

】如何在UIImagePicker中实现自定义“使用”和“重拍”按钮？【英文标题】：Howtoimplementcustom\'Use\'and\'Retake\'buttoninUIImagePicker?【发布时间】：2011-03-2507:06:04【问题描述】：我的意思是，我已经关闭了相机控制器pickerCam.showsCameraContro... 查看详情

如何在自定义 Spring 存储库中实现自定义方法？ [复制]

】如何在自定义Spring存储库中实现自定义方法？[复制]【英文标题】：Howtoimplementcustommethodincustomspringrepository?[duplicate]【发布时间】：2016-03-2719:36:21【问题描述】：假设我想要一个方法，获取超级主客户，有id=0。我有客户类：@Ent... 查看详情

如何在 JSON.NET 中实现自定义 JsonConverter？

】如何在JSON.NET中实现自定义JsonConverter？【英文标题】：HowtoimplementcustomJsonConverterinJSON.NET?【发布时间】：2011-12-2306:02:32【问题描述】：我正在尝试扩展此处给出的JSON.net示例http://james.newtonking.com/projects/json/help/CustomCreationConverter.... 查看详情

如何在 QT 中实现自定义模型的 removeRow() 函数？

】如何在QT中实现自定义模型的removeRow()函数？【英文标题】：HowtoimplementremoveRow()functionforcustomizedmodelinQT?【发布时间】：2016-03-2404:02:48【问题描述】：我已经搜索了QT文档以供参考，但我有一些问题。这是QTdoc中的实现：boolTableMo... 查看详情

如何在 WCF 服务中实现自定义身份验证

】如何在WCF服务中实现自定义身份验证【英文标题】：HowtoImplementcustomauthenticationinWCFservice【发布时间】：2019-12-1403:26:43【问题描述】：我想为具有自定义身份验证的移动应用程序创建WCFrestful服务。第一个请求应该是登录，特别... 查看详情

如何在 ASP.NET Core 中实现自定义模型验证？

】如何在ASP.NETCore中实现自定义模型验证？【英文标题】：ASP.NETCore-Createcustommodelvalidation【发布时间】：2016-07-1215:07:56【问题描述】：在以前版本的ASP.NETMVC中，向模型添加自定义验证的方法是实现IValidatableObject并实现您自己的Val... 查看详情

如何在 WordPress 中实现自定义标头的引导小部件代码？

】如何在WordPress中实现自定义标头的引导小部件代码？【英文标题】：HowtocanimplementbootstrapwidgetcodeforcustomheaderinWordPress?【发布时间】：2019-07-1703:22:25【问题描述】：我在网站上工作，我不是引导程序的专业人士。这是我的主题标... 查看详情

如何在android中实现自定义可折叠工具栏？

】如何在android中实现自定义可折叠工具栏？【英文标题】：HowtoimplementCustomCollapsableToolbarinandroid?【发布时间】：2015-11-2212:08:36【问题描述】：使用thistutorial实现灵活空间模式（带有折叠工具栏的模式）。我正在尝试实现与Lollipop... 查看详情

在 kvm 中实现自定义超级调用

...拟化非常陌生，最近我一直在尝试熟悉VMM的操作方式以及如何进行超级调用。谈到我打算在安装在我的Ubuntu桌面上的KVM中实现一个新的超级调用，然后可以从来宾环境中调用。通过这个超级调用，我打算只返回一个字符串“HelloW... 查看详情

如何在 ASP.NET MVC 中实现自定义主体和身份？

】如何在ASP.NETMVC中实现自定义主体和身份？【英文标题】：HowdoIimplementcustomPrincipalandIdentityinASP.NETMVC?【发布时间】：2011-03-1711:30:25【问题描述】：我想在经过身份验证的用户中存储额外的信息，以便我可以轻松访问它（例如User.... 查看详情

如何在 ASP.NET MVC 5 中实现自定义身份验证

】如何在ASP.NETMVC5中实现自定义身份验证【英文标题】：HowtoimplementcustomauthenticationinASP.NETMVC5【发布时间】：2015-10-1314:09:48【问题描述】：我正在开发一个ASP.NETMVC5应用程序。我有一个现有的数据库，我从中创建了我的ADO.NET实体... 查看详情

如何在 iOS 应用程序中实现自定义（平面图图像）地图..？ [关闭]

】如何在iOS应用程序中实现自定义（平面图图像）地图..？[关闭]【英文标题】：HowdoIimplementacustom(floorplanimage)mapinaniOSapp..?[closed]【发布时间】：2012-03-0612:49:09【问题描述】：实现这一点的一些应用示例是..YorkdaleAppIconBrickell我是... 查看详情

我们如何在 Laravel 中实现自定义的仅 API 身份验证

】我们如何在Laravel中实现自定义的仅API身份验证【英文标题】：HowdoweimplementcustomAPI-onlyauthenticationinLaravel【发布时间】：2020-09-1019:04:42【问题描述】：这不是一个非常需要答案的问题，但欢迎提供进一步的建议和答案和建议。我... 查看详情