tensorflow:模型训练tensorflow.train

-柚子皮- -柚子皮-     2022-10-22     242

关键词:

深度学习训练中的几个概念

(1)batchsize:批大小。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练;一次Forword运算以及BP运算中所需要的训练样本数目,其实深度学习每一次参数的更新所需要损失函数并不是由一个data:label获得的,而是由一组数据加权得到的,这一组数据的数量就是[batch size]。当然batch size 越大,所需的内存就越大,要量力而行。

(2)step/iteration:1个iteration等于使用batchsize个样本训练一次;每一次迭代都是一次权重更新,每一次权重更新需要batch size个数据进行Forward运算得到损失函数,再BP算法更新参数。tf.train.get_or_create_global_step()记录的应该就是这个。

(3)epoch:1个epoch等于使用训练集中的全部样本训练一次;一般在训练时会重复数据多次:dataset = dataset.shuffle(params['buffer']).repeat(params['epochs'])。

训练完整个样本集需要:数据量*epochs/batch_size个iteration/step,当然如果有early stopping则可能小于这个值。模型训练完后,再运行再训练,则会接着上次的ckpt训练,但是如果有early stopping,且达到指标,超过后会提示tensorflow No increase in metric "f1" for steps ***, which is greater than or equal to max steps ***,此时并不会接着训练。

举个例子

训练集有1000个样本,batchsize=10,epoch=1,那么训练完整个样本集需要1000*1/10=100次iteration/step。

loss = 5.8677516, step = 953 (12.937 sec) 表示step = 953时的loss

Saving 'checkpoint_path' summary for global step 953: results/model/model.ckpt-953 表示在step = 953时,保存一次ckpt.

MonitoredTrainingSession

bugs:

1 图构建完直接完成,无报错:可能是run函数都写在with MonitoredTrainingSession外面了。

from: -柚子皮-

ref: [tf.train]

无法使用经过训练的 Tensorflow 模型

】无法使用经过训练的Tensorflow模型【英文标题】:unabletouseTrainedTensorflowmodel【发布时间】:2018-08-1313:11:32【问题描述】:我是深度学习和Tensorflow的新手。我将预训练的tensorflowinceptionv3模型重新训练为saved_model.pb以识别不同类型... 查看详情

tensorflow训练模型

代码参考(https://blog.csdn.net/disiwei1012/article/details/79928679)#coding:utf-8#In[1]:importosimportsysimportrandomimportmathimportreimporttimeimportnumpyasnpimportcv2importmatplotlibimportmatplotlib.py 查看详情

TensorFlow 2.0 在单 GPU 上训练模型

】TensorFlow2.0在单GPU上训练模型【英文标题】:Tensorflow2.0trainmodelonsingleGPU【发布时间】:2020-11-2706:19:03【问题描述】:我想在单个NVIDIA显卡(RTX2080super)上训练一个顺序tensorflow(版本2.3.0)模型。我正在使用以下代码sn-p来构建和... 查看详情

如何使用 tensorflow 在 C++ 中训练模型?

】如何使用tensorflow在C++中训练模型?【英文标题】:HowtotrainamodelinC++withtensorflow?【发布时间】:2016-05-2704:25:05【问题描述】:我尝试用深度学习模型训练一个实验。我发现tensorflow是最好的方法。但是存在需要用python编写tensorflow... 查看详情

如何训练 tensorflow deeplab 模型?

】如何训练tensorflowdeeplab模型?【英文标题】:HowcanItraintensorflowdeeplabmodel?【发布时间】:2020-06-0713:08:48【问题描述】:我需要用我的鞋子数据集训练tensorflowdeeplab模型。然后我将使用这个模型来去除图像鞋的背景。我怎么能训练... 查看详情

使用 Tensorflow 训练模型的输入数组形状应该是啥

】使用Tensorflow训练模型的输入数组形状应该是啥【英文标题】:WhatshouldbetheinputarrayshapefortrainingmodelswithTensorflow使用Tensorflow训练模型的输入数组形状应该是什么【发布时间】:2019-09-1522:49:20【问题描述】:我正在按照https://www.ten... 查看详情

升级 TensorFlow 模型或重新训练 SavedModel

】升级TensorFlow模型或重新训练SavedModel【英文标题】:UpgradeTensorflowmodelorRetrainforSavedModel【发布时间】:2019-12-1820:15:16【问题描述】:我在2017年关注“诗人的Tensorflow”,并重新训练了我自己的图像集并创建了“retrained_graph.pb”和... 查看详情

如何使用 tensorflow 数据集训练 sklearn 模型?

】如何使用tensorflow数据集训练sklearn模型?【英文标题】:Howtotrainsklearnmodelsusingtensorflowdataset?【发布时间】:2021-05-1301:31:02【问题描述】:我想知道是否可以使用Tensorflow数据集来训练scikit-learn和其他ML框架。那么,例如,我可以... 查看详情

(转)darknet模型与tensorflow模型相互转换

...在C环境下训练的,难免较为晦涩,如果能将模型转换到Tensorflow环境下完成模型的训练,在将训练好的权重转为Darknet可以识别的权重部署到实际应用中。这样就可以将算法的训练和实际部署分开!1、将Darknet框架下的.cfg与.weights... 查看详情

tensorflow使用objectdetection训练并识别自己的模型

使用objectdetection训练并识别自己的模型1.安装tensorflow(version>=1.4.0)2.部署tensorflowmodels  -在这里下载  -解压并安装    -解压后重命名为models复制到tensorflow/目录下    -在linux下      -进入tensorflow/models/research... 查看详情

如何使用 gpu 并行训练 tensorflow.keras 模型? TensorFlow 版本 2.5.0

】如何使用gpu并行训练tensorflow.keras模型?TensorFlow版本2.5.0【英文标题】:Howtotraintensorflow.kerasmodelsinparallelusinggpu?Tensorflowversion2.5.0【发布时间】:2021-09-2409:04:17【问题描述】:我有以下代码运行我在不同模块中拥有的自定义模型... 查看详情

如何在 nodejs (tensorflow.js) 中训练模型?

】如何在nodejs(tensorflow.js)中训练模型?【英文标题】:Howtotrainamodelinnodejs(tensorflow.js)?【发布时间】:2020-03-1602:45:43【问题描述】:我想做一个图像分类器,但我不懂python。Tensorflow.js适用于我熟悉的javascript。可以用它训练模型吗... 查看详情

TensorFlow 模型恢复(恢复训练似乎从头开始)

】TensorFlow模型恢复(恢复训练似乎从头开始)【英文标题】:Tensorflowmodelrestoration(resumetrainingseemsstartingfromscratch)【发布时间】:2017-09-0805:57:51【问题描述】:我在保存模型后无法恢复训练。问题是,例如,我的损失从6减少到3。... 查看详情

使用tensorflow训练模型的基本流程

原文地址(https://github.com/wmpscc/TensorflowBaseDemo)本篇文章将介绍使用tensorflow的训练模型的基本流程,包括制作读取TFRecord,训练和保存模型,读取模型。语言:Python3库:tensorflow、cv2、numpy、matplotlib数据集:Chars74Kdataset的数字部分网... 查看详情

如何将训练有素的 Tensorflow 模型转换为 Keras?

】如何将训练有素的Tensorflow模型转换为Keras?【英文标题】:HowcanIconvertatrainedTensorflowmodeltoKeras?【发布时间】:2017-11-1123:02:24【问题描述】:我有一个训练有素的Tensorflow模型和权重向量,它们已分别导出到protobuf和权重文件。如... 查看详情

如何在 Tensorflow 2 中的模型训练期间捕获任何异常

】如何在Tensorflow2中的模型训练期间捕获任何异常【英文标题】:HowtocatchanyExceptionduringModelTraininginTensorflow2【发布时间】:2020-02-2916:07:10【问题描述】:我正在使用Tensorflow训练一个Unet模型。如果我传递给模型进行训练的任何图... 查看详情

如何在 Tensorflow 对象检测 api 中评估预训练模型

】如何在Tensorflow对象检测api中评估预训练模型【英文标题】:HowtoevaluateapretrainedmodelinTensorflowobjectdetectionapi【发布时间】:2017-11-2604:47:28【问题描述】:尝试使用最近发布的Tensorflow对象检测API,并且想知道如何评估他们在模型... 查看详情

tensorflow设置gpu训练模型(代码片段)

Tensorflow设置GPU训练模型添加以下代码添加以下代码importtensorflowastfgpus=tf.config.list_physical_devices("GPU")ifgpus:tf.config.experimental.set_memory_growth(gpus[0],True)加油!感谢!努力! 查看详情