text【8】彩色目标跟踪(代码片段)

author author     2022-11-29     737

关键词:

//--------------------------------------【程序说明】-------------------------------------------
//        程序说明:《OpenCV3编程入门》OpenCV3版书本配套示例程序08
//        程序描述:来自OpenCV安装目录下Samples文件夹中的官方示例程序-彩色目标跟踪操作
//        开发测试所用操作系统: Windows 7 64bit
//        开发测试所用IDE版本:Visual Studio 2010
//        开发测试所用OpenCV版本:    3.0 beta
//        2014年11月 Revised by @浅墨_毛星云
//------------------------------------------------------------------------------------------------

//---------------------------------【头文件、命名空间包含部分】----------------------------
//        描述:包含程序所使用的头文件和命名空间
//-------------------------------------------------------------------------------------------------
#include "opencv2/video/tracking.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/highgui/highgui.hpp"
#include <iostream>
#include <ctype.h>

using namespace cv;
using namespace std;



//-----------------------------------【全局变量声明】-----------------------------------------
//        描述:声明全局变量
//-------------------------------------------------------------------------------------------------
Mat image;
bool backprojMode = false; //表示是否要进入反向投影模式,ture表示准备进入反向投影模式
bool selectObject = false; //代表是否再选择要跟踪的初始目标,true表示正在用鼠标选择
int trackObject = 0; //代表跟踪目标数目
bool showHist = true; //是否显示直方图
Point origin; //用于保存鼠标选择第一次单击时点的位置
Rect selection; //用于保存鼠标选择的矩形框
int vmin = 10, vmax = 256, smin = 30;


//--------------------------------【onMouse( )回调函数】------------------------------------
//        描述:鼠标操作回调
//-------------------------------------------------------------------------------------------------
//用户在对象周围绘制方框以跟踪。这就触发了CamShift开始跟踪
static void onMouse(int event, int x, int y, int, void*)

  if (selectObject) //只有当鼠标左键按下去时才有效,然后通过 if 里面代码就可以确定所选择的矩形区域selection了
  
    selection.x = MIN(x, origin.x); //矩形左上角顶点坐标
    selection.y = MIN(y, origin.y);
    selection.width = std::abs(x - origin.x); //矩形的宽
    selection.height = std::abs(y - origin.y); //矩形的高
    selection &= Rect(0, 0, image.cols, image.rows); //用于确保所选的矩形区域在图片范围内
  

  switch (event)
  
    //此句代码的OpenCV2版为:
    //case CV_EVENT_LBUTTONDOWN:
    //此句代码的OpenCV3版为:
    case EVENT_LBUTTONDOWN: //鼠标左键按下消息
    
      origin = Point(x, y);
      selection = Rect(x, y, 0, 0); //鼠标刚按下去时初始化了一个矩形区域
      selectObject = true;
    
    break;
    //此句代码的OpenCV2版为:
    //case CV_EVENT_LBUTTONUP:
    //此句代码的OpenCV3版为:
    case EVENT_LBUTTONUP: //鼠标左键抬起消息
    
      selectObject = false;
      if (selection.width > 0 && selection.height > 0)
      
        trackObject = -1; //在main()循环中设置CamShift属性
      
    
    break;
  


//--------------------------------【help( )函数】----------------------------------------------
//        描述:输出帮助信息
//-------------------------------------------------------------------------------------------------
static void ShowHelpText()

  cout << "\n\n\t\t\t非常感谢购买《OpenCV3编程入门》一书!\n"
       << "\n\n\t\t\t此为本书OpenCV3版的第8个配套示例程序\n"
       << "\n\n\t\t\t   当前使用的OpenCV版本为:" << CV_VERSION
       << "\n\n  ----------------------------------------------------------------------------";
 
  cout << "\n\n\t此Demo显示了基于均值漂移的追踪(tracking)技术\n"
          "\t请用鼠标框选一个有颜色的物体,对它进行追踪操作\n";

  cout << "\n\n\t操作说明: \n"
          "\t\t用鼠标框选对象来初始化跟踪\n"
          "\t\tESC - 退出程序\n"
          "\t\tc - 停止追踪\n"
          "\t\tb - 开/关-投影视图\n"
          "\t\th - 显示/隐藏-对象直方图\n"
          "\t\tp - 暂停视频\n"
          "初始化跟踪,用鼠标选择对象\n";
          //也可以先在static void ShowHelpText() 前先写一个 string hot_keys = "\n\n\t操作说明:\n"....
          //然后再在static void ShowHelpText() 里写一个cout << hot_keys;


const char* keys =

  "1|  | 0 | camera number"	//"hepl h || show help message@camera_number |0| camera number"
;


//-----------------------------------【main( )函数】--------------------------------------------
//        描述:控制台应用程序的入口函数,我们的程序从这里开始
//-------------------------------------------------------------------------------------------------
int main(int argc, const char** argv)

  ShowHelpText();
  
  VideoCapture cap; //定义一个摄像头捕捉的类对象;
                    //VideoCapture cap; cap.open(0); 就相当于 VideoCapture cap(0);
  Rect trackWindow; //跟踪窗口
  int hsize = 16;
  float hranges[] =  0,180 ; //hranges在后面的计算直方图函数中要用到
  const float* phranges = hranges;
  
  cap.open(0);
  
  if (!cap.isOpened()) //如果摄像头调用不成功
  
    cout << "不能初始化摄像头\n";
  
  
  namedWindow("Histogram", 0);
  namedWindow("CamShift Demo", WINDOW_AUTOSIZE);
  setMouseCallback("CamShift Demo", onMouse, 0); //消息响应机制
  createTrackbar("Vmin", "CamShift Demo", &vmin, 256, 0); //createTrackbar函数的功能是在对应的窗口创建滑动条,vmin表示滑动条的值,最大为256
  createTrackbar("Vmax", "CamShift Demo", &vmax, 256, 0);	//最后一个参数为0代表没有调用滑动拖动的响应函数
  createTrackbar("Smin", "CamShift Demo", &smin, 256, 0);	//vmin,vmax,smin初始值分别为10,256,30
  
  Mat frame, hsv, hue, mask, hist, histimg = Mat::zeros(200, 320, CV_8UC3), backproj; //
  bool paused = false;
  
  for (;;)
  
    if (!paused)
    
      cap >> frame; //读取当前帧
      if (frame.empty()) //如果视频播放完成,就退出循环
      
        break;
      
    
    
    frame.copyTo(image); //为什么要从frame换成image来用?
    
    if (!paused)
    
      cvtColor(image, hsv, COLOR_BGR2HSV); //彩色图像转换成HSV图像
      
      if (trackObject) //trackObject初始化为0, 或者按完键盘的'c'键后也为0,当鼠标单击松开后为-1
      
        int _vmin = vmin, _vmax = vmax;
        //------------------------------------------inRange函数-----------------------------------------------
        // 功能:检查输入数组每个元素大小是否在2个给定数值之间,可以有多通道,mask保存0通道的最小值,也就是h分量。
        //       这里利用了hsv的3个通道,比较h,0~180,s,smin~256,v,min(vmin,vmax),max(vmin,vmax)。
        //       如果3个通道 都在对应的范围内,则mask对应的那个点的值全为1(0xff),否则为0(0x00)。
        //----------------------------------------------------------------------------------------------------
        inRange(hsv, Scalar(0, smin, MIN(_vmin, _vmax)), Scalar(180, 256, MAX(_vmin, _vmax)), mask); //
        int ch[] =  0, 0 ;  //
        hue.create(hsv.size(), hsv.depth()); //hue初始化为与hsv大小深度一样的矩阵,色调的度量是用角度表示的,红绿蓝之间相差120度,反色相差180度
        mixChannels(&hsv, 1, &hue, 1, ch, 1); //将hsv第一个通道(也就是色调)的数复制到hue中,0索引数组;
                                              //Channels里包含着蓝、绿、红三色通道
        
        if (trackObject < 0) //鼠标选择区域松开后,该函数内部又将其赋值1
        
          //对象已经被用户选择了,设置了CAMShift搜索属性
          //此处的构造函数roi用的是Mat hue的矩阵头,且roi的数据指针指向hue,即共用相同的数据,select为其感兴趣的区域
          Mat roi(hue, selection), maskroi(mask, selection); //mask保存的hsv的最小值
          //--------------------------calcHist()函数------------------------------
          //                       第1个参数为输入矩阵序列,
          //                       第2个参数表示输入的矩阵数目,
          //                       第3个参数表示将被计算直方图维数通道的列表,
          //                       第4个参数表示可选的掩码函数
          //                       第5个参数表示输出直方图,
          //                       第6个参数表示直方图的维数,
          //                       第7个参数为每一维直方图数组的大小,
          //                       第8个参数为每一维直方图bin的边界
          //----------------------------------------------------------------------
          calcHist(&roi, 1, 0, maskroi, hist, 1, &hsize, &phranges); //将roi的0通道计算直方图并通过mask放入hist中,hsize为每一维直方图的大小
          //此句代码的OpenCV3版为:
          normalize(hist, hist, 0, 255, NORM_MINMAX); //将hist矩阵进行数组范围归一化,都归一化到0~255
          //此句代码的OpenCV2版为:
          //normalize(hist, hist, 0, 255, CV_MINMAX);
          
          trackWindow = selection;
          trackObject = 1; //只要鼠标选完区域松开后,且没有按键盘清0键‘c‘,则trackObject一直保持为1,因此该if函数只能执行一次,除非重新选择跟踪区域
          
          histimg = Scalar::all(0); //与按下‘c‘键是一样的,这里的all(0)表示的是标量全部清0
          int binW = histimg.cols / hsize; //histing是一个200*300的矩阵,hsize应该是每一个bin的宽度,也就是histing矩阵能分出几个bin出来
          Mat buf(1, hsize, CV_8UC3); //定义一个缓冲单bin矩阵
          for (int i = 0; i < hsize; i++)
          
            //saturate_case函数为从一个初始类型准确变换到另一个初始类型
            buf.at<Vec3b>(i) = Vec3b(saturate_cast<uchar>(i * 180. / hsize), 255, 255); //Vec3b为3个char值的向量
          
          //此句代码的OpenCV3版为:
          cvtColor(buf, buf, COLOR_HSV2BGR); //将hsv又转换成bgr
          //此句代码的OpenCV2版为:
          //cvtColor(buf, buf, CV_HSV2BGR);
          
          for (int i = 0; i < hsize; i++)
          
            int val = saturate_cast<int>(hist.at<float>(i) * histimg.rows / 255); //at函数为返回一个指定数组元素的参考值
            rectangle(histimg, Point(i * binW, histimg.rows), //在一幅输入图像上画一个简单抽的矩形,指定左上角和右下角,并定义颜色,大小,线型等
                      Point((i + 1) * binW, histimg.rows - val),
                      Scalar(buf.at<Vec3b>(i)), -1, 8);
          
        
        
        // Perform CAMShift 执行
        calcBackProject(&hue, 1, 0, hist, backproj, &phranges); //计算直方图的反向投影,计算hue图像0通道直方图hist的反向投影
        backproj &= mask;
        RotatedRect trackBox = CamShift(backproj, trackWindow,
                                        //此句代码的OpenCV3版为:
                                        TermCriteria(TermCriteria::EPS | TermCriteria::COUNT, 10, 1)); 
                                        //trackWindow为鼠标选择的区域,TermCriteria为确定迭代终止的准则
                                        //此句代码的OpenCV2版为:
                                        //TermCriteria( CV_TERMCRIT_EPS | CV_TERMCRIT_ITER, 10, 1 ));
        
        if (trackWindow.area() <= 1)
        
          int cols = backproj.cols, rows = backproj.rows, r = (MIN(cols, rows) + 5) / 6;
          trackWindow = Rect(trackWindow.x - r, trackWindow.y - r,
                             trackWindow.x + r, trackWindow.y + r) &
                             Rect(0, 0, cols, rows); //Rect函数为矩阵的偏移和大小,即第一二个参数为矩阵的左上角点坐标,第三四个参数为矩阵的宽和高
        
        
        if (backprojMode)
        
          cvtColor(backproj, image, COLOR_GRAY2BGR); //因此投影模式下显示的也是rgb图
        
        //此句代码的OpenCV3版为:
        ellipse(image, trackBox, Scalar(0, 0, 255), 3, LINE_AA); //跟踪的时候以椭圆为代表目标
        //此句代码的OpenCV2版为:
        //ellipse( image, trackBox, Scalar(0,0,255), 3, CV_AA );
      
    
    //后面的代码是不管pause为真还是为假都要执行的
    else if (trackObject < 0) //同时也是在按了暂停字母以后
    
      paused = false;
    
    if (selectObject && selection.width > 0 && selection.height > 0)
    
      Mat roi(image, selection);
      bitwise_not(roi, roi); //bitwise_not为将每一个bit位取反
    
    
    imshow("CamShift Demo", image);
    imshow("Histogram", histimg);
    
    char c = (char)waitKey(10);
    if (c == 27) //退出键
    
      break;
    
    switch (c)
    
      case 'b': //反向投影模型交替
      
        backprojMode = !backprojMode;
      
      break;
      case 'c': //清零跟踪目标对象
      
        trackObject = 0;
        histimg = Scalar::all(0);
      
      break;
      case 'h': //显示直方图交替
      
        showHist = !showHist;
        if (!showHist)
        
          destroyWindow("Histogram");
        
        else
        
          namedWindow("Histogram", 1);
        
      
      break;
      case 'p': //暂停跟踪交替
      
        paused = !paused;
      
      break;
      default:
        ;
    
  
  return 0;

一些重要函数解释:
先来看一下鼠标回调函数
(1)onMouse

函数原型:void onMouse( int event, int x, int y, int, void* )

在这个函数内,必须要设置一些基本的信息。比如鼠标初始位置,终止位置,确定好rect矩形的大小和位置信息。最后等待鼠标按键触发,传递参数x和y为鼠标点击的位置坐标。
用switch确定event有好几种鼠标触发方式。还要设置按键开关。这里是selectObject,一般是按下的时候为true,松开的时候为false。最好在每次按键触发的时候加入if条件,判断rect是否真的被触发或者触发的位置是否符合要求。

(2)createTrackbar滑动条

CV_EXPORTS int createTrackbar( const string& trackbarname, 
                               const string& winname,
                               int* value, int count,
                               TrackbarCallback onChange=0,
                               void* userdata=0);
前两个参数分别指定了滑动条的名字以及滑动条附属窗口的名字。当滑动条被创建后,滑动条会被创建在窗口的顶部或者底部。另外,滑动条不会遮挡窗口中的图像。
随后的两个为value,它是一个整数指针,当滑动条被拖动时,opencv会自动将当前位置所代表的值创递给指针指向的整数;另外一个参数count是一个整数数值,为滑动条所能表示的最大值。
最后一个参数是一个指向回调函数的指针,当滑动条被拖动时,回调函数会自动被调用。这跟鼠标事件的回调函数实现类似。
回调函数必须为CvTrackbarCallback格式,定义如下:

void (*callback)(int position)

这个回调函数不是必须的,所以如果不需要一个回调函数,可以将参数设置为NULL,没有回调函数,当滑动条被拖动时,唯一的影响就是改变指针value所指向的整数值。
highgui还提供了两个函数分别用来读取与设置滑动条的value值,不过前提是必须知道滑动条的名字。

int cvGetTrackbarPos(const char* trackbar_name,const char * window_name);

void cvSetTrackbarPos(const char* trackbar_name, const char * window_name,int pos);

(3)InRange

检查数组元素是否在两个数组之间
void cvInRange( const CvArr* src, const CvArr* lower, const CvArr* upper, CvArr* dst );
src
第一个原数组
lower
包括进的下边界数组
upper
不包括进的上边界线数组
dst
输出数组必须是 8u 或 8s 类型.
函数 cvInRange 对输入的数组作范围检查,对于单通道数组:
dst(I)=lower(I)0 <= src(I)0 < upper(I)0
对二通道数组:
dst(I)=lower(I)0 <= src(I)0 < upper(I)0 &&
lower(I)1 <= src(I)1 < upper(I)1
以此类推
如果 src(I) 在范围内dst(I)被设置为 0xff (每一位都是 ‘1’)否则置0 。 除了输出数组所有数组必须是相同的类型相同的大小(或ROI大小)。

(4)calcHist函数来计算图像直方图。
其中C++的函数原型如下:

void calcHist(const Mat* arrays, int narrays, const int* channels, InputArray mask,

OutputArray hist, int dims, const int* histSize, const float** ranges,

bool uniform=true, bool accumulate=false );

参数解释:
arrays。输入的图像的指针,可以是多幅图像,所有的图像必须有同样的深度(CV_8U or CV_32F)。同时一副图像可以有多个channes。
narrays。输入的图像的个数。
channels。用来计算直方图的channes的数组。比如输入是2副图像,第一副图像有0,1,2共三个channel,第二幅图像只有0一个channel,那么输入就一共有4个channes,如果int channels[3] = 3, 2, 0,那么就表示是使用第二副图像的第一个通道和第一副图像的第2和第0个通道来计算直方图。
mask。掩码。如果mask不为空,那么它必须是一个8位(CV_8U)的数组,并且它的大小的和arrays[i]的大小相同,值为1的点将用来计算直方图。
hist。计算出来的直方图
dims。计算出来的直方图的维数。
histSize。在每一维上直方图的个数。简单把直方图看作一个一个的竖条的话,就是每一维上竖条的个数。
ranges。用来进行统计的范围。比如
float rang1[] = 0, 20;
float rang2[] = 30, 40;
const float *rangs[] = rang1, rang2;那么就是对0,20和30,40范围的值进行统计。
uniform。每一个竖条的宽度是否相等。
accumulate。Accumulation flag. If it is set, the histogram is not cleared in the beginning
when it is allocated. This feature enables you to compute a single histogram from several
sets of arrays, or to update the histogram in time. 是否累加。如果为true,在下次计算的时候不会首先清空hist。

最后:我摄像头用的电脑自带的前置摄像头,画质比较渣,哈哈。我在运行的时候显示用debug来运行,结果鼠标不能对彩色目标进行选择,dos窗口命令也不能正常使用,然后我将debug换成Release,运行成功了。

机动目标跟踪——当前统计模型(cs模型)(代码片段)

机动目标跟踪——当前统计模型(CS模型)原创不易,路过的各位大佬请点个赞针对机动目标跟踪的探讨、技术支持欢迎联系,也可以站内私信WX:ZB823618313机动目标跟踪——当前统计模型(CS模型)机动目标... 查看详情

text跟踪域名(代码片段)

查看详情

目标跟踪基于kalman滤波跟踪视频运动目标matlab代码(代码片段)

...过帧差法对运动物体的识别,定位,利用卡尔曼滤波算法对目标运动进行预测,跟踪,从而控制摄像头转动,跟踪目标物,使目标物体始终出现监控画面的中心.在此采用卡尔曼滤算法,进行目标运动的预估,利用Matlab对其仿真.仿真结果显... 查看详情

text更新wordpressgoogleanalytics跟踪代码(代码片段)

查看详情

text向标头添加跟踪代码(代码片段)

查看详情

text事件跟踪googleanalytics(代码片段)

查看详情

text滚动跟踪gtm(代码片段)

查看详情

text转化跟踪标题脚本(代码片段)

查看详情

text向页脚添加跟踪代码(代码片段)

查看详情

text跟踪重命名git文件(代码片段)

查看详情

多目标跟踪算法|deepsort(代码片段)

前言本文分享多目标跟踪算法的经典算法DeepSort,它是一个两阶段的算法,达到实时跟踪效果,曾被应用于工业开发。DeepSort是基于Sort目标跟踪进行的改进,它引入深度学习模型,在实时目标跟踪过程中,... 查看详情

彩色表格(代码片段)

<!DOCTYPEhtml><html><head><metacharset="UTF-8"><title></title><styletype="text/css">tablewidth:700px;height:auto;font-family:"黑体";font-size:20px;text-align:c 查看详情

机动目标跟踪——匀速运动cv模型(代码片段)

机动目标跟踪——匀速运动CV模型原创不易,路过的各位大佬请点个赞WX:ZB823618313机动目标跟踪——目标模型概述机动目标跟踪——匀速运动CV模型1.对机动目标跟踪的理解2.目标模型概述3.机动目标模型3.1匀速运动CV模型3.1.1一... 查看详情

目标跟踪的深度学习方法与opencv实现(代码片段)

目录概述31.1.背景31.2.目标跟踪问题描述31.3.目标跟踪测试数据集及性能评价标准4算法选型102.1.现有算法分类102.2.图像目标跟踪方法111.概述1.1.背景行为识别的前提是需要对人体目标进行识别和跟踪,现阶段我们已经通过使用开源... 查看详情

text用于调试windows构建的堆栈跟踪(代码片段)

查看详情

text将电子商务跟踪代码添加到感谢页面(代码片段)

查看详情

目标跟踪基于matlabkalman目标跟踪含matlab源码1119期(代码片段)

...以知道运动物体的位置,一个是我们观察到的,目标A在的某一帧图像的某个坐标点,另一个是我们根据前面几帧里目标的运动情况估计出来的,这个估计是假定目标运动是光滑的(当然也可以有其他模型)... 查看详情

opencv人数统计yolokcf人头跟踪人数统计kcf目标跟踪yolo目标跟踪(代码片段)

...f1b;    2、区域内的绊线检测功能;    3、区域内目标跟踪,统计人头数量 查看详情