关键词:
为什么做了个这个呢,其实是学校机器视觉创新班的大作业。虽然做的不是很完善,但是也希望起到一个抛砖引玉的效果。
源码下载链接:基于OpenCV与Qt的亚克力板件检测系统-图像处理文档类资源-CSDN下载
一、概述
首先是作业的要求:
综上所述,我们需要实现的功能有:
- 采集图像
- 保存图像
- 颜色识别
- 形状识别
- 像素尺寸识别
- 多目标同时识别
- 相机标定
- 像素尺寸转换为实际尺寸
- 实时检测
二、系统总体设计
成像系统结构:
同组工业系同学画的结构图,大概就是这样。两块打光板开到最高亮度,底下的垫板我们用了鼠标垫(因为哑光,也找不到更好的材料)
软件逻辑流程:
打开软件,显示主窗体。
进行相机标定,可以用已经预先拍好的标定板照片进行标定,也可以用程序内置的截图按钮对标定板进行摄像并进行标定。
按下分析按钮,即可即时显示检测结果在屏幕上
软件界面设计:
(取名叫Amadeus)
三、各个功能实现
1.界面编写
界面基于Qt,版本是5.12.9,编译器是MingW 7.30 64位,OpenCV库版本是4.5.4
第一步是在Qt里使用OpenCV库,需要在pro文件里加上这么几行
INCLUDEPATH += I:\\Documents\\Qt\\OpenCV\\build\\install\\include
INCLUDEPATH += I:\\Documents\\Qt\\OpenCV\\build\\install\\include\\opencv2
LIBS += I:\\Documents\\Qt\\OpenCV\\build\\lib\\libopencv_*.a
然后再包含各种头文件
#include "opencv2/opencv.hpp"
#include "opencv2/core/core.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
这样,就可以在Qt里使用OpenCV了
2.采集图像
下一步就是编写各种功能,我们首先要实现的是采集图像和显示图像到窗体的功能,关键代码如下
cap.open(camNum);
timer -> start(33); //打开序号为camNum的摄像头,将定时器调为33毫秒中断一次
因为Qt有着独特的图片类型QImage,所以我们要将摄像头采集到的Mat类型图像转换为QImage类型再显示出来,关键代码如下
cap.read(frame); //读取摄像头采集到的图像,存放在frame中
QImage qim = MainWindow::convertMat2QImage(frame);
/*将OpenCV库中Mat类型的frame变量转换为Qt专用的图片类型QImage,名字是qim*/
ui->camView->setPixmap(QPixmap::fromImage(qim));
/*让窗体中的camView组件显示qim*/
convertMat2QImage方法是我自定义的一个方法,代码如下
QImage MainWindow::convertMat2QImage(Mat &src)
cvtColor(src, src, COLOR_BGR2RGB);//将颜色通道从BGR转为RGB
QImage qim((const unsigned char*)src.data, src.cols, src.rows, src.step, QImage::Format_RGB888);
return qim;
这样,采集图像的功能就完成了。
3.保存图像
保存图像也很简单,只需要一个Mat类型的图像和一行代码就可以完成,但是我写了一个可以保存多个图像并且按顺序命名文件的方法,为了以后标定方便使用,关键代码如下
void MainWindow::on_cap_clicked()
capNum++; //文件序号自加
string cap = ".bmp";//后缀为bmp
string fileName = to_string(capNum).append(cap);//将文件序号字符串拼接上后缀字符串
imwrite(fileName, frameC);//imwrite函数保存图像
4.形状识别
识别形状的部分借用了另一位博主的代码,原帖地址:计算机视觉 OpenCV【七:应用之形状与轮廓检测】_Kukeoo的博客-CSDN博客
这个方法使用了识别轮廓和拟合轮廓为多边形的方式,通过多边形的角点数来判断形状,可以说是十分的直观。关键代码如下:
approxPolyDP(contour[i], conPoly[i], 0.02 * peri, true); //将轮廓拟合为多边形
boundRect[i] = boundingRect(conPoly[i]); //外接矩形
minRect[i] = minAreaRect(conPoly[i]); //最小外接矩形
int objCor = (int)conPoly[i].size(); //定义角点数量
if (objCor == 3) objectType = 1; //objectType == 1时,即为三角形
else if (objCor == 4)
float aspRatio = (float)boundRect[i].width / boundRect[i].height;//长宽比来区别正方形与矩形
if (aspRatio > 0.98 && aspRatio < 1.02) objectType = 2; //objectType == 2时,即为正方形
else objectType = 3; //objectType == 3时,即为长方形
else if (objCor == 5) objectType = 4; //objectType == 4时,即为五边形
else if (objCor == 6) objectType = 5; //objectType == 5时,即为六边形
else if (objCor > 6) objectType = 6; //objectType == 6时,即为圆形
5.颜色识别
因为这次任务所要识别的亚克力板颜色和形状都是均匀的,并且色彩变化范围不大,所以采用了取识别到的亚克力板的最小外接圆的圆心的HSV通道的色相来判断该板块的颜色,关键代码如下:
minEnclosingCircle(conPoly[i], center, radius); //定义最小外接圆
circle(img, center, radius, Scalar(255, 0, 255), 2); //绘制最小外接圆 if(color[2] <= 46 && color[1] >= 0) colorString = "Black";
//根据最小外接圆圆心的色相判断其颜色
else if(color[0] <= 180 && color[0] >= 156) colorString = "Red";
else if(color[0] <= 10 && color[0] >= 0) colorString = "Red";
else if(color[0] <= 25 && color[0] >= 11) colorString = "Orange";
else if(color[0] <= 34 && color[0] >= 26) colorString = "Yellow";
else if(color[0] <= 77 && color[0] >= 35) colorString = "Green";
else if(color[0] <= 99 && color[0] >= 78) colorString = "Yellow";
else if(color[0] <= 124 && color[0] >= 100) colorString = "Blue";
else if(color[0] <= 155 && color[0] >= 125) colorString = "Purple";
6.像素尺寸识别
按照要求,像素尺寸要输出几个数据,比如面积、最小外接圆半径、边长。
代码中具体实现输出的是:
- 三角形:边长、面积、最小外接圆半径
- 正方形:边长、面积、最小外接圆半径
- 矩形:长、宽、面积、最小外接圆半径
- 五边形:边长、面积、最小外接圆半径
- 六边形:边长、面积、最小外接圆半径
- 圆形:半径、面积
具体使用的计算方法如下
- 边长:将一个形状的轮廓周长除以这个形状的边数,即可得到边长
- 面积:将上面得到的边长代入这个形状的面积计算公式,即可得到该形状的面积
- 最小外接圆半径:直接用OpenCV自带的函数对轮廓绘制最小外接圆,会返回一个半径
- 矩形的长和宽:需要对矩形绘制最小外接矩形,并返回最小外接矩形的长和宽
这一部分代码有点长.......具体请见我主页公开的源代码
7.多目标同时识别
这个没啥好说的,给识别形状的代码加一个for循环就行了
for (int i = 0; i < (int)contour.size(); i++)//对每一个轮廓进行识别
......
8.相机标定
相机标定部分借用了另一位博主的代码
Opencv 张正友相机标定傻瓜教程_牧野的博客-CSDN博客_opencv相机标定
9.实际尺寸输出
这里使用的方法是,首先进行相机标定,输出畸变参数和内参矩阵,再用这两个参数对拍摄的一张标定图片进行校正,提取其中两个相邻的角点,计算出两个角点之间的像素距离。
这时候两个角点之间的像素距离就是校正后的像素距离,将它与这两个角点的实际距离相除,可以得到一个系数,使用这个系数乘以之前计算出的多边形尺寸,即可得到多边形的实际尺寸。关键代码如下
Mat newImage;
undistort(imageSource, newImage, cameraMatrix, distCoeffs);
findChessboardCorners(imageSource, board_size, image_points3, 0);
//输出一张校正后的图像,检测该图像的角点并计算距离
Point2f p1 = image_points3.at(0);
Point2f p2 = image_points3.at(1);
float distance = getDistance(p1, p2);
ratio1 = 6/distance;//系数等于实际距离除以像素距离
其中getDistance是自定义的一个函数
double getDistance (Point2f pointO, Point2f point1)//计算两点之间的距离
double distance;
distance = powf((pointO.x - point1.x),2) + powf((pointO.y - point1.y),2);
distance = sqrtf(distance);
return distance;
10.实际效果
到这里,所有功能大致就完成了,后面经过了各种调试,得到实际误差在±0.1~0.2mm之间,还算不错的一个数值。
大多数情况下还是挺准的,有些时候颜色识别不正确需要手动调节下光圈
11.透视校正
这时候老师又给我们出了一个任务:将摄像机倾斜20度拍摄!
这时候就需要进行透视变换,但是透视变换输入的矩阵如何计算呢?这个问题我想了很久,最后想到了一个巧妙的方法。
- 首先准备一张白纸,将它平铺在摄像机底下(这时摄像机并没有倾斜)
- 把这张白纸裁剪到尺寸与摄像机的视场面积完全一致
- 将摄像机倾斜20度
- 将白纸的底部与视场底部对准,两边尽量对称
这样,就得到了透视变换的输入参数!白纸的四个角点即是透视变换输入的四个点,将这四个点拉伸到图像的四个角点即可完成透视变换。
四、总结
差不多就是这样,软件部分我自己用了接近五天的时间完成........最后老师给打了满分,哈哈哈哈哈
做这个东西路上也踩到了不少坑,比如逻辑上的混乱,算法的bug等等。这提醒我以后编写逻辑性比较长的程序要先了解各个功能实现的原理,再去实现功能之间的逻辑。
第一次写这么长的博客,希望大家多多指教,谢谢!
opencv与qt联合开发示例(代码片段)
1、OpenCV及QT开发环境搭建windows基于vs2017的opencv安装windows下安装QT并与visualstudio2017搭建开发环境 2、工程创建1、导入Qt项目选择:QTVSTools->OpenQtProjectFile(.pro)… 2、新建Qt项目1、选择:文件->新建->项目->测试->... 查看详情
基于qt和opencv的人脸识别系统
基于QT和OpenCV的人脸识别系统TheFaceRecognitionSystemBasedonQTandOpenCV关键词:ARM,QT,OpenCV,人脸识别,PCA 1系统方案设计 1.1引言 人脸是一个常见而复杂的视觉模式,人脸所反映的视觉信息在人与人的交流和交... 查看详情
opencv基于残差网络实现人脸检测(代码片段)
OpenCV基于残差网络实现人脸检测OpenCV3.3版本第一次把深度神经网络(DNN)模块引入到正式发布版本中,最新的OpenCV3.4中DNN模块发布了两个必杀技,一个支持FasterR-CNN的对象检测,比SSD与YOLO这些模型有更好的检测精度与小对象检测能... 查看详情
基于yolov7的闸片厚度检测方法(代码片段)
基于yolov7的闸片厚度检测方法图像采集YOLOV7训练制作训练集训练样本生成权重文件修改YOLO预测类imag与cv2转换方法欧氏距离像素坐标与世界坐标映射测量方法边缘提取滤波方法检测结果图像采集利用基于3D结构光的深度相机采集... 查看详情
基于qt的opencv代码加速(代码片段)
Opencv,for循环等的C++代码加速一、使用OpenGL对Opencv进行加速1.什么是OpenGL?OpenCL是一个用于异构平台(heterogeneousplatform)下编写并行程序的框架.OpenCL的开发者可以使用所有可用的兼容计算设备,他们找到计算机上的相应... 查看详情
qt+opencv实现人脸识别打卡系统2.0(代码片段)
一、简介人脸识别1.0版本:【QT】基于人脸识别的打卡系统(QT+Opencv+SQLite)--设计过程_Jason~shen的博客-CSDN博客_qt人脸识别目录使用平台设计目标功能描述设计方案数据库设计使用说明使用平台https://blog.csdn.net/qq_... 查看详情
vs2017+opencv+qt+cuda,使用cmake编译opencv的库(代码片段)
环境:cuda10.2opencv3.4.13qt5.12.9cmake3.24vs2017x64系统vs安装时勾选与c++相关的组件,依次安装opencv、qt、cuda(cuda安装时尽量安装在c盘,以便于配置系统环境)与cmake,需要配置qt与cuda的环境变量。 C:\\Progra... 查看详情
opencv+openvino实现人脸landmarks实时检测(代码片段)
...块之后,OpenCV对DNN模块支持最好的表现之一就是开始支持基于深度学习人脸检测,OpenCV本身提供了两个模型分别是基于Caffe与Tensorflow的,Caffe版本的模型是半精度16位的,tensorflow版本的模型是8位量化的。同时OpenCV通过与OpenVINOIE... 查看详情
人脸检测 OpenCV + Qt + cvMat
】人脸检测OpenCV+Qt+cvMat【英文标题】:facedetectOpenCV+Qt+cvMat【发布时间】:2015-10-0620:05:07【问题描述】:我正在尝试将旧的opencv面部检测代码从使用IplImage结构迁移到使用来自opencv的Mat类。问题是当没有Qt代码时代码正在运行。这... 查看详情
opencv调用手机摄像头与人脸检测(代码片段)
...、参考文献一、OpenCV机器视觉环境搭建1.OpenCV下载本文是基于Windows上Anaconda的OpenCV,在下载OpenCV前需要通过Anconda安装pyth 查看详情
如何以及在何处使用带有 QT 的 basler 相机实现 opencv 人脸检测代码
】如何以及在何处使用带有QT的basler相机实现opencv人脸检测代码【英文标题】:HowandwheretoimplementopencvfacedetecioncodeusingbaslercamwithQT【发布时间】:2018-02-0314:03:36【问题描述】:我在尝试使用我的baslercam让opencv人脸检测在QT中工作时... 查看详情
基于opencv的图像梯度与边缘检测!
Datawhale干货 作者:姚童,Datawhale优秀学习者,华北电力大学严格的说,梯度计算需要求导数。但是图像梯度的计算,是通过计算像素值的差得到梯度的近似值。图像梯度表示的是图像变化的速度,反映了图像的边缘信息... 查看详情
opencv-美食—巧克力滤镜(代码片段)
作者:Steven版权声明:著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处实现原理 之前筹备了几款图像处理的工具函数,就是为了实现一些定义好的滤镜特效。这几个函数分别为... 查看详情
图像处理——基于机器视觉技术的人脸在线识别系统设计(代码片段)
基于机器视觉技术的人脸在线识别系统设计 本设计研究人脸检测与识别技术,在基于机器视觉技术上,构建了一套人脸在线检测识别系统,系统将由以下几个部分构成:计算机图像预处理、数据收集和预处理、人脸... 查看详情
armubuntumate下配置qt与opencv最快捷的方法(代码片段)
黑色的句子可忽略,红色的为必须因为在板子上编译opencv的时候遇到FFMPEG模块编译报错的情况,具体问题是:https://stackoverflow.com/questions/28319376/installing-opencv-in-ubuntu-14-10,所以直接下载编译好的opencv来用核心板全... 查看详情
camera基于深度学习的车牌检测与识别系统实现(课程设计)
基于深度学习的车牌检测与识别系统实现(课程设计)代码+数据集下载地址:下载地址用python3+opencv3做的中国车牌识别,包括算法和客户端界面,只有2个文件,surface.py是界面代码,predict.py是算法代码,界面不是重点所以用tkint... 查看详情
OpenCV2.4.10 与 Qt
】OpenCV2.4.10与Qt【英文标题】:OpenCV2.4.10withQt【发布时间】:2015-06-0417:53:50【问题描述】:我已经安装了32位Qt并为OpenCV2.4.10编译了64位二进制文件(来自源代码)。我有两个问题:我在安装Qt之前构建了OpenCV库。但据我了解... 查看详情
基于python_opencv人脸录入识别系统(应用dlib机器学习库)(代码片段)
基于python_opencv人脸录入、识别系统(应用dlib机器学习库)近几年应用opencv机器学习方法识别人脸的技术成为了热潮,本人根据当今的识别技术与方法,历时四个多月开发出一套基于dlib机器学习库的识别项目。希... 查看详情