关键词：
DETR(Detection with TRansformers)训练自己的数据集-实践笔记&问题总结
DETR(Detection with TRansformers)是基于transformer的端对端目标检测，无NMS后处理步骤，无anchor。
实现使用NWPUVHR10数据集训练DETR.
NWPU数据集总共包含十种类别目标，包含650个正样本，150个负样本（没有用到）。
NWPU_CATEGORIES=['airplane','ship','storage tank','baseball diamond','tennis court',\\
'basketball court','ground track field','harbor','bridge','vehicle']
代码：https://github.com/facebookresearch/detr
文章目录
一.训练
1.数据集准备
DETR需要的数据集格式为coco格式，图片和标签文件保存于训练集、测试集、验证集、标签文件四个文件夹中，其中annotations中存放json格式的标签文件
下面的代码包含了几种数据集RSOD、NWPU、DIOR、YOLO数据集标签文件转换json功能。新建py文件tojson.py，使用如下代码生成需要的json文件。
生成instances_train2017.json
（a）修改29行image_path默认路径为train2017的路径；
（b）修改31行annotation_path默认路径为标签文件路径（train和val的标签都放在这个文件夹下，所以生成instances_val2017.json时就不需要再修改这个路径了）；
（c）修改33行dataset为自己的数据集名称NWPU
（d）.修改34行save的默认路径为json文件的保存路径…/NWPUVHR-10/annotations/instances_train2017.json
import os
import cv2
import json
import argparse
from tqdm import tqdm
import xml.etree.ElementTree as ET
COCO_DICT=['images','annotations','categories']
IMAGES_DICT=['file_name','height','width','id']
ANNOTATIONS_DICT=['image_id','iscrowd','area','bbox','category_id','id']
CATEGORIES_DICT=['id','name']
## 'supercategory': 'person', 'id': 1, 'name': 'person'
## 'supercategory': 'vehicle', 'id': 2, 'name': 'bicycle'
YOLO_CATEGORIES=['person']
RSOD_CATEGORIES=['aircraft','playground','overpass','oiltank']
NWPU_CATEGORIES=['airplane','ship','storage tank','baseball diamond','tennis court',\\
'basketball court','ground track field','harbor','bridge','vehicle']
VOC_CATEGORIES=['aeroplane','bicycle','bird','boat','bottle','bus','car','cat','chair','cow',\\ 'diningtable','dog','horse','motorbike','person','pottedplant','sheep','sofa','train','tvmonitor']
DIOR_CATEGORIES=['golffield','Expressway-toll-station','vehicle','trainstation','chimney','storagetank',\\
'ship','harbor','airplane','groundtrackfield','tenniscourt','dam','basketballcourt',\\
'Expressway-Service-area','stadium','airport','baseballfield','bridge','windmill','overpass']
parser=argparse.ArgumentParser(description='2COCO')
#parser.add_argument('--image_path',type=str,default=r'T:/shujuji/DIOR/JPEGImages-trainval/',help='config file')
parser.add_argument('--image_path',type=str,default=r'G:/NWPU VHR-10 dataset/positive image set/',help='config file')
#parser.add_argument('--annotation_path',type=str,default=r'T:/shujuji/DIOR/Annotations/',help='config file')
parser.add_argument('--annotation_path',type=str,default=r'G:/NWPU VHR-10 dataset/ground truth/',help='config file')
parser.add_argument('--dataset',type=str,default='NWPU',help='config file')
parser.add_argument('--save',type=str,default='G:/NWPU VHR-10 dataset/instances_train2017.json',help='config file')
args=parser.parse_args()
def load_json(path):
with open(path,'r') as f:
json_dict=json.load(f)
for i in json_dict:
print(i)
print(json_dict['annotations'])
def save_json(dict,path):
print('SAVE_JSON...')
with open(path,'w') as f:
json.dump(dict,f)
print('SUCCESSFUL_SAVE_JSON:',path)
def load_image(path):
img=cv2.imread(path)
return img.shape[0],img.shape[1]
def generate_categories_dict(category): #ANNOTATIONS_DICT=['image_id','iscrowd','area','bbox','category_id','id']
print('GENERATE_CATEGORIES_DICT...')
return [CATEGORIES_DICT[0]:category.index(x)+1,CATEGORIES_DICT[1]:x for x in category] #CATEGORIES_DICT=['id','name']
def generate_images_dict(imagelist,image_path,start_image_id=11725): #IMAGES_DICT=['file_name','height','width','id']
print('GENERATE_IMAGES_DICT...')
images_dict=[]
with tqdm(total=len(imagelist)) as load_bar:
for x in imagelist: #x就是图片的名称
#print(start_image_id)
dict=IMAGES_DICT[0]:x,IMAGES_DICT[1]:load_image(image_path+x)[0],\\
IMAGES_DICT[2]:load_image(image_path+x)[1],IMAGES_DICT[3]:imagelist.index(x)+start_image_id
load_bar.update(1)
images_dict.append(dict)
return images_dict
def DIOR_Dataset(image_path,annotation_path,start_image_id=11725,start_id=0):
categories_dict=generate_categories_dict(DIOR_CATEGORIES) #CATEGORIES_DICT=['id'：，1'name'：golffield......] id从1开始
imgname=os.listdir(image_path)
images_dict=generate_images_dict(imgname,image_path,start_image_id) #IMAGES_DICT=['file_name','height','width','id'] id从0开始的
print('GENERATE_ANNOTATIONS_DICT...') #生成cooc的注记 ANNOTATIONS_DICT=['image_id','iscrowd','area','bbox','category_id','id']
annotations_dict=[]
id=start_id
for i in images_dict:
image_id=i['id']
print(image_id)
image_name=i['file_name']
annotation_xml=annotation_path+image_name.split('.')[0]+'.xml'
tree=ET.parse(annotation_xml)
root=tree.getroot()
for j in root.findall('object'):
category=j.find('name').text
category_id=DIOR_CATEGORIES.index(category) #字典的索引，是从1开始的
x_min=float(j.find('bndbox').find('xmin').text)
y_min=float(j.find('bndbox').find('ymin').text)
w=float(j.find('bndbox').find('xmax').text)-x_min
h=float(j.find('bndbox').find('ymax').text)-y_min
area = w * h
bbox = [x_min, y_min, w, h]
dict = 'image_id': image_id, 'iscrowd': 0, 'area': area, 'bbox': bbox, 'category_id': category_id,
'id': id
annotations_dict.append(dict)
id=id+1
print('SUCCESSFUL_GENERATE_DIOR_JSON')
return COCO_DICT[0]:images_dict,COCO_DICT[1]:annotations_dict,COCO_DICT[2]:categories_dict
def NWPU_Dataset(image_path,annotation_path,start_image_id=0,start_id=0):
categories_dict=generate_categories_dict(NWPU_CATEGORIES)
imgname=os.listdir(image_path)
images_dict=generate_images_dict(imgname,image_path,start_image_id)
print('GENERATE_ANNOTATIONS_DICT...')
annotations_dict=[]
id=start_id
for i in images_dict:
image_id=i['id']
image_name=i['file_name']
annotation_txt=annotation_path+image_name.split('.')[0]+'.txt'
txt=open(annotation_txt,'r')
lines=txt.readlines()
for j in lines:
if j=='\\n':
continue
category_id=int(j.split(',')[4])
category=NWPU_CATEGORIES[category_id-1]
print(category_id,' ',category)
x_min=float(j.split(',')[0].split('(')[1])
y_min=float(j.split(',')[1].split(')')[0])
w=float(j.split(',')[2].split('(')[1])-x_min
h=float(j.split(',')[3].split(')')[0])-y_min
area=w*h
bbox=[x_min,y_min,w,h]
dict = 'image_id': image_id, 'iscrowd': 0, 'area': area, 'bbox': bbox, 'category_id': category_id,
'id': id
id=id+1
annotations_dict.append(dict)
print('SUCCESSFUL_GENERATE_NWPU_JSON')
return COCO_DICT[0]:images_dict,COCO_DICT[1]:annotations_dict,COCO_DICT[2]:categories_dict
def YOLO_Dataset(image_path,annotation_path,start_image_id=0,start_id=0):
categories_dict=generate_categories_dict(YOLO_CATEGORIES)
imgname=os.listdir(image_path)
images_dict=generate_images_dict(imgname,image_path)
print('GENERATE_ANNOTATIONS_DICT...')
annotations_dict=[]
id=start_id
for i in images_dict:
image_id=i['id']
image_name=i['file_name']
W,H=i['width'],i['height']
annotation_txt=annotation_path+image_name.split('.')[0]+'.txt'
txt=open(annotation_txt,'r')
lines=txt.readlines()
for j in lines:
category_id=int(j.split(' ')[0])+1
category=YOLO_CATEGORIES
x=float(j.split(' ')[1])
y=float(j.split(' ')[2])
w=float(j.split(' ')[3])
h=float(j.split(' ')[4])
x_min=(x-w/2)*W
y_min=(y-h/2)*H
w=w*W
h=h*H
area=w*h
bbox=[x_min,y_min,w,h]
dict='image_id':image_id,'iscrowd':0,'area':area,'bbox':bbox,'category_id':category_id,'id':id
annotations_dict.append(dict)
id=id+1
print('SUCCESSFUL_GENERATE_YOLO_JSON')
return COCO_DICT[0]:images_dict,COCO_DICT[1]:annotations_dict,COCO_DICT[2]:categories_dict
def RSOD_Dataset(image_path,annotation_path,start_image_id=0,start_id=0):
categories_dict=generate_categories_dict(RSOD_CATEGORIES)
imgname=os.listdir(image_path)
images_dict=generate_images_dict(imgname,image_path,start_image_id)
print('GENERATE_ANNOTATIONS_DICT...')
annotations_dict=[]
id=start_id
for i in images_dict:
image_id=i['id']
image_name=i['file_name']
annotation_txt=annotation_path+image_name.split('.')[0]+'.txt'
txt=open(annotation_txt,'r')
lines=txt.readlines()
for j in lines:
category=j.split('\\t')[1]
category_id=RSOD_CATEGORIES.index(category)+1
x_min=float(j.split('\\t')[2])
y_min=float(j.split('\\t')[3])
w=float(j.split('\\t')[4])-x_min
h=float(j.split('\\t')[5])-y_min
area = w * h
bbox = [x_min, y_min, w, h]
dict = 'image_id': image_id, 'iscrowd': 0, 'area': area, 'bbox': bbox, 'category_id': category_id,
'id': id
annotations_dict.append(dict)
id=id+1
print('SUCCESSFUL_GENERATE_RSOD_JSON')
return COCO_DICT[0]:images_dict,COCO_DICT[1]:annotations_dict,COCO_DICT[2]:categories_dict
if __name__=='__main__':
dataset=args.dataset #数据集名字
save=args.save #json的保存路径
image_path=args.image_path #对于coco是图片的路径
annotation_path=args.annotation_path #coco的annotation路径
if dataset=='RSOD':
json_dict=RSOD_Dataset(image_path,annotation_path,0)
if dataset=='NWPU':
json_dict=NWPU_Dataset(image_path,annotation_path,0)
if dataset=='DIOR':
json_dict=DIOR_Dataset(image_path,annotation_path,11725)
if dataset=='YOLO':
json_dict=YOLO_Dataset(image_path,annotation_path,0)
save_json(json_dict,save)
运行生成instances_train2017.json，再修改路径生成instances_train2017.json。
（经评论区小伙伴提醒发现有问题，已修改）
如果自己的数据集是voc格式，可以使用参考链接1中的大大给出的代码。
2.环境配置
激活当前项目所在环境，使用如下命令完成环境配置：
pip install -r requirements.txt
3.pth文件生成
先下载预训练文件，官方提供了 DETR 和 DETR-DC5 models,两个模型，选择一个下载
新建py文件，mydataset.py，使用如下代码，修改第5行为自己的类别数+1
import torch
pretrained_weights = torch.load('detr-r50-e632da11.pth')
#NWPU数据集，10类
num_class = 11 #类别数+1，1为背景
pretrained_weights[<笔记2：yolov5训练自己的目标检测模型_创建并划分数据集(代码片段)
目标检测---数据集格式转化及训练集和验证集划分_didiaopao的博客-CSDN博客1、 我们经常从网上获取一些目标检测的数据集资源标签的格式都是VOC(xml格式)的，而yolov5训练所需要的文件格式是yolo(txt格式)的，这里就需要对x... 查看详情
睿智的目标检测65——pytorch搭建detr目标检测平台(代码片段)
...Decoder网络介绍4、预测头的构建三、预测结果的解码四、训练部分1、计算Loss所需内容2、正样本的匹配过程3、计算Loss训练自己的DETR模型一、数据集的准备二、数据集的处理三、开始网络训练四、训练结果预测学习前言基于Transfo... 查看详情
关于detr模型训练自定义数据集ap=0问题(代码片段)
在使用DETR模型进行训练过程时，其在每次训练完成后都会进行评估，但在运行过程中，博主发现其AP值始终都为0，如下图：刚开始时，博主还以为是初始训练的问题，后来进行了6个轮次后结果依旧没... 查看详情
yolov7训练自己的数据集（口罩检测）(代码片段)
YOLOv7训练自己的数据集（口罩检测）前言前提条件实验环境项目结构制作自己的数据集数据集目录结构训练自己的数据集VOC格式数据集转换成YOLO格式数据集修改cfg配置新建一个myyolov7.yaml配置文件myyolov7.yaml内容创建自己... 查看详情
mmsegmentation框架segformer训练自己的数据集(代码片段)
...家共勉！ 我个人主要是想要使用mmsegmentation框架训练自己的数据集，一开始跟着网上的教程使用了PspNet网络，但是可能由于数据集过小最后达到的效果不尽人意，因此考虑使用更新的、性能更好的SegFormer进行... 查看详情
yolov7训练自己的数据集(代码片段)
yolov7训练自己的数据集一.安装yolov7并配置1.安装Anaconda2.创建虚拟环境3.下载yolov7源码4.下载权重5.安装依赖二.运行目标检测三.训练自的数据集1.创建所需文件2.下载labelImg标注工具3.配置训练的相关文件四.正式训练五.使用自己的... 查看详情
mmdetection训练自己的coco数据集(代码片段)
训练前的准备训练数据的导入将自己的COCO数据集放入到下载的mmdetection的源码里，（如果没有data文件夹需要新建）data->COCO->你的COCO数据集文件格式如下：mmdetection├──mmdet├──tools├──configs├──data│... 查看详情
pysyft学习笔记四：minist数据集下的联邦学习（并行训练与非并行训练）(代码片段)
目录手写数字识别模型（非并行训练）概述图导入基本包创建客户机设置训练参数初始化数据集搭建神经网络模型定义训练与测试函数定义主函数训练效果手写数字识别模型（并行训练）概述图导入必要的包建立... 查看详情
「深度学习一遍过」必修28：基于c3d预训练模型训练自己的视频分类数据集的设计与实现(代码片段)
...修篇 目录1DownLoadorClone 2数据集准备3代码调试3.1下载预训练模型3.2 配置数据集和预训练模型路径3.3修改label.txt文件3.4运行 查看详情
「深度学习一遍过」必修28：基于c3d预训练模型训练自己的视频分类数据集的设计与实现(代码片段)
...修篇 目录1DownLoadorClone 2数据集准备3代码调试3.1下载预训练模型3.2 配置数据集和预训练模型路径3.3修改label.txt文件3.4运行 查看详情
人工智能实践：tensorflow笔记-第五周(代码片段)
...p;emsp?提供6万张2828像素点的0~9手写数字图片和标签，用于训练。&emsp?提供1万张2828像素点的0~9手写数字图片和标签，用于测试。使用下面两行代码来下载数据集：fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data 查看详情
paddledet训练旋转目标检测ppyoloe-r训练自己的数据集(代码片段)
1.数据转换labelme2coco，原来是labelme标注的points通过opencv转为4个坐标#encoding=utf-8importargparseimportcollectionsimportdatetimeimportglobimportjsonimportosimportos.pathasospimportsysimportuuidimportcv2imp 查看详情
利用tfdataset改善模型训练效率的最佳实践(代码片段)
...践已经提前把数据全部保存为tfrecord，以便提升模型训练的时候的效率，数据集大小大概为4G左右。使用如下数据集构建流程：defload_tfrecord_dataset(tfrecord_name,batch_size,shuffle=True,buffer_size=1024):"""loaddatas 查看详情
paddleocr文字识别使用教程（训练自己的数据集）(代码片段)
目录项目目录结构数据集准备labelimg参数修改训练预测项目目录结构链接：https://pan.baidu.com/s/1wbZvvonRBL3xy7xO3w57eA提取码：8888开源项目链接：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.3/doc/doc_en/recogniti 查看详情
dino-detr在cadc数据集进行实验与分析
...出1050张作为测试集，随后将剩余的4200张按照4:1划分训练集与验证集，即3360张作为训练集，840张作为验证集，之所以将1050张划分为测试集，是因为整体数据集主要划分为5个驾驶场景，为保证测试集与训练... 查看详情
pysyft学习笔记四：minist数据集下的联邦学习（并行训练与非并行训练）(代码片段)
目录手写数字识别模型（非并行训练）概述图导入基本包创建客户机设置训练参数初始化数据集搭建神经网络模型定义训练与测试函数定义主函数训练效果手写数字识别模型（并行训练）概述图导入必要的包建立... 查看详情
深度学习训练营之yolov5训练自己的数据集(代码片段)
深度学习训练营之训练自己的数据集原文链接环境介绍准备好数据集划分数据集运行voc_train.py遇到问题完整代码创建new_data.yaml文件模型训练时遇到的报错模型训练结果可视化参考链接原文链接🍨本文为🔗365天深度学习... 查看详情
跑通caffe-ssddemo代码（训练测试自己数据集）(代码片段)
跑通caffe-ssddemo代码（训练、测试自己数据集）ssd网络我就不多介绍了，CSDN上面一搜一大把。这篇主要讲讲如何跑通caffe代码~github：caffe-ssd一、代码结构在caffe-ssd中能用到的文件我全部在上述图片中标出来了，... 查看详情