在ros中使用opencv进行简单的图像处理

author author     2022-09-30     112

关键词:

实例:从ROS中读取图象,转换后将彩色图象变成灰度图象,并返回灰度图象,转换后在ROS下输出。

正文


1. 在ROS下创建工作空间

工作空间(work space)是ROS中非常重要的一个概念,可以把工作空间理解为一个大的工厂,里面的分成几个大的生产车间(package),每一个生产车间中会有若干个具有不同技能的工人(node)。当工厂运转时,每个车间中的工人(node)同时工作,他们通过话题(topic)进行信息沟通。各个大的车间之间也存在这互相依赖的关系,共同组成一个有机的整体。

因此在每次编写ROS下的程序时都应该先建立一个独立的工作空间,然后再不段的丰满它的功能。

方法如下:新建一个终端输入:

    mkdir -p cv_ws/src

    cd src

    catkin_init_workspace

    cd ..

    catkin_make


2. 在工作空间下创建程序包

创建好了工作空间,下一步需要创建程序包。在ROS中节点是实现某一个功能的可执行文件(工人),一个或者多个节点可以组成一个程序包。这样做便于代码的复用。程序包默认在工作空间中的src文件夹中创建,而node默认在程序包的src文件中创建(cpp文件)。

方法如下:在原来的终端下继续输入:

    cd src

    catkin_create_pkg robot_vision roscpp std_msgs cv_bridge image_transport sensor_msgs

    cd ..

    catkin_make


创建程序包的一般格式是catkin_create_pkg <name> <dependencies package>,在本程序中我们要用到除roscpp之外的三个程序包进行图片的转换工作。

3. 创建.cpp源文件

在ubuntu系统下,没有类似vs2010那样的集成开发平台,编写程序只需要在文本中编写,命名时采用相应的后缀即可。在创建的程序包的src文件中创建一个文本文件,并命名为getImage.cpp。具体代码和注释如下:

 

#include<ros/ros.h> //ros标准库头文件
#include<iostream> //C++标准输入输出库
/*
  cv_bridge中包含CvBridge库
*/
#include<cv_bridge/cv_bridge.h> 
/*
  ROS图象类型的编码函数
*/
#include<sensor_msgs/image_encodings.h> 
/*
   image_transport 头文件用来在ROS系统中的话题上发布和订阅图象消息
*/
#include<image_transport/image_transport.h> 

//OpenCV2标准头文件
#include<opencv2/core/core.hpp>
#include<opencv2/highgui/highgui.hpp>
#include<opencv2/imgproc/imgproc.hpp>

static const std::string INPUT = "Input"; //定义输入窗口名称
static const std::string OUTPUT = "Output"; //定义输出窗口名称

//定义一个转换的类
class RGB_GRAY
{
private:
    ros::NodeHandle nh_; //定义ROS句柄
    image_transport::ImageTransport it_; //定义一个image_transport实例
    image_transport::Subscriber image_sub_; //定义ROS图象接收器
    //image_transport::Publisher image_pub_; //定义ROS图象发布器
public:
    RGB_GRAY()
      :it_(nh_) //构造函数
    {
        image_sub_ = it_.subscribe("camera/rgb/image_raw", 1, &RGB_GRAY::convert_callback, this); //定义图象接受器,订阅话题是“camera/rgb/image_raw”
       // image_pub_ = it_.publishe("", 1); //定义图象发布器
        //初始化输入输出窗口
        cv::namedWindow(INPUT);
        cv::namedWindow(OUTPUT);
    }
    ~RGB_GRAY() //析构函数
    {
         cv::destroyWindow(INPUT);
         cv::destroyWindow(OUTPUT);
    }
    /*
      这是一个ROS和OpenCV的格式转换回调函数,将图象格式从sensor_msgs/Image  --->  cv::Mat
    */
    void convert_callback(const sensor_msgs::ImageConstPtr& msg) 
    {
        cv_bridge::CvImagePtr cv_ptr; // 声明一个CvImage指针的实例

        try
        {
            cv_ptr =  cv_bridge::toCvCopy(msg, sensor_msgs::image_encodings::RGB8); //将ROS消息中的图象信息提取,生成新cv类型的图象,复制给CvImage指针
        }
        catch(cv_bridge::Exception& e)  //异常处理
        {
            ROS_ERROR("cv_bridge exception: %s", e.what());
            return;
        }

        image_process(cv_ptr->image); //得到了cv::Mat类型的图象,在CvImage指针的image中,将结果传送给处理函数   
    }
    /*
       这是图象处理的主要函数,一般会把图像处理的主要程序写在这个函数中。这里的例子只是一个彩色图象到灰度图象的转化
    */
    void image_process(cv::Mat img) 
    {
       cv::Mat img_out;
       cv::cvtColor(img, img_out, CV_RGB2GRAY);  //转换成灰度图象
       cv::imshow(INPUT, img);
       cv::imshow(OUTPUT, img_out);
       cv::waitKey(5);
    }
};

//主函数
int main(int argc, char** argv)
{
    ros::init(argc, argv, "RGB");
    RGB_GRAY obj;
    ros::spin();
}

4. 以下是对上面代码中核心的部分进行解释

1)头文件

#include<cv_bridge/cv_bridge.h>
头文件cv_bridge中包含了CvBridge类,而CvBridge中的API可以将ROS下的sensor_msgs/Image消息类型转化成cv::Mat。

#include<sensor_msgs/image_encodings.h>
头文件sensor_msgs/Image是ROS下的图像的类型,这个头文件中包含对图像进行编码的函数。

#include<image_transport/image_transport.h>
这个头文件中包含的是ImageTransport类,这个类提供ROS中图像的订阅和发布。

剩下的头文件就是如程序中的注释所示。

2)核心类的主要API

image_transport类:图像传输类,其功能和ROS中的Publisher和Subscriber差不多,但是不同的是这个类在发布和订阅图片消息的同时还附带这摄像头的信息。相比较之下,   在ROS中传送图片信息,使用image_transport类要高效的多。同时,这个类可以以不同的图像压缩形式传输图像例如JPG/PNG等等,也可以添加插件定义传输数据的压缩模式。
                                     API:
                                     image_transport::ImageTransport类:这个类成员可以定义某个话题的图像类型的发布器和订阅器(类似ros的句柄)。
                                     image_transport::Publisher类:这个类定义了image_transport中的发布器。
                                     image_transport::Subsciber类:这个类定义了image_transport中的订阅器。
cv_bridge类:这个类中提供的API主要功能是将图像从sensor_msgs/Image类型转化成cv::Mat类型。
                          API:
                          cv_bidge::CvImage类:cv_bridge中提供的数据结构,里面包括OpenCV中的cv::Mat类型的图像信息,图像编码方式,ROS头文件等等。要得到cv::Mat类型的 图像,只需要定义一个对象然后给出对象中的成员object.image即可,或者指针CvImagePtr,ptr->image。
                          cv_bridge::toCvCopy()方法:参数是ROS下的sensor_msgs/ImageConstPtr,和图像压缩类型(例如:sensor_msgs::image_encodings::RGB8)。其功能是实 现复制图像信息这样,得到副本,这样我们可以从副本的CvImage中提取cv::Mat类型的图像进行处理。核心!
                          cv_bridge::toCvShare()方法:参数同上,但是这个函数只是共享指针地址。ROS是不予许直接对图像格式的消息进行操作的。

5. 编译成可执行文件

在编写程序后,这个文本程序在编译成可执行文件之前是不能够运行的。首先在建立的robot_vision的程序包中的CMakeLists.txt文件中加入如下代码:
add_executable(gratImage src/grayImage.cpp)   //将src中的文件添加成名字为grayImage的可执行文件
target_link_libraries(grayImage ${catkin_LIBRARIES})  //将相关的库和可执行文件链接
add_dependencies(grayImage robot_vision_generate_messages_cpp)  //给可执行文件添加依赖包
返回到工作空间下编译。catkin_make                                               

6. 总结

以上就是在ROS下使用opencv所要做的所有工作。总体上来看就是因为opencv处理的图像格式和ROS系统实际提供的格式不匹配,故而有cv_bridge这个包作为沟通的桥梁。二本程序中使用image_transport代替传统的ROS中的Publisher和Subscriber是另一个突破。同时还要注意的是,ubuntu下的opencv2中的某些函数的形式和window中的不相同,使用的时候要注意。

转载自:http://blog.csdn.net/robogreen/article/details/50488215

在没有 sse 的情况下编译 OpenCV 以在 ROS 中使用

】在没有sse的情况下编译OpenCV以在ROS中使用【英文标题】:CompilingOpenCVwithoutsseforuseinROS【发布时间】:2013-03-0600:46:44【问题描述】:所以我遇到了一个似乎与在不支持SSE的处理器上在ROS中使用OpenCV相关的问题。具体来说,每当尝... 查看详情

ros+opencv实践-cv_bridge的使用(代码片段)

...;订阅摄像头话题(image_raw),读取视频流。2.使用cv_bridge,将ROS图像格式转化为opencv格式。3.使用opencv里面的API对图像进行处理。4.使用cv_bridge,将opencv图像格式转化为ROS格式。cv_b 查看详情

基于qml创建最简单的图像处理程序-使用opencv&qml进行图像处理

《基于qml创建最简单的图像处理程序》系列课程及配套代码基于qml创建最简单的图像处理程序(1)-基于qml创建界面(0)​​课程1附件基于qml创建最简单的图像处理程序(2)-使用c++&qml进行图像处理课程2附件基于qml创建最简单... 查看详情

技术分享|机器人工程师,都是如何进行图像处理的?

相信大家在图像处理在机器人领域中是很常见的一个功能。通过计算机视觉获取周围环境。从而让机器人“看见”世界,并且实施监控。本文将会详细介绍ROS中的cv_bridge功能包,并给出使用的例子。帮助大家快速上手在RO... 查看详情

使用opencv进行图像全景拼接

...成功的应用之一。如今,很难找到不包含此功能的手机或图像处理API。在本文中,我们将讨论如何使用Python和OpenCV进行图像拼接。也就是,给定两张共享某些公共区域的图像,目标是“缝合”它们并创建一个全景图像场景... 查看详情

ros机械臂开发:机器视觉应用

...能包中的话题消息中各个域的含义如下:启动摄像头如果使用的是带内置USB摄像头的笔记本,此时摄像头应当已经启动了:查看摄像头图像内参属于摄像头自身参数,外参是指和机械臂之间的位置关系。标定内参是为了消除图像... 查看详情

如何使用opencv在ios中编写一个简单的图像加载函数

】如何使用opencv在ios中编写一个简单的图像加载函数【英文标题】:Howtowriteasimpleimageloadfunctioniniosusingopencv【发布时间】:2013-01-2515:17:55【问题描述】:我可以在ios中使用Opencv编写一个简单的C++代码来加载图像吗?你能指出我可... 查看详情

ros发布图像消息(代码片段)

...后的消息还不能直接用平时直接定义的node发出去,要使用image_transport进行转换,才能发出去ros::NodeHandlenh;image_transport::ImageTransportit(nh);//topicnameis/camera_front/image_color,thepub 查看详情

ros发布图像消息(代码片段)

...后的消息还不能直接用平时直接定义的node发出去,要使用image_transport进行转换,才能发出去ros::NodeHandlenh;image_transport::ImageTransportit(nh);//topicnameis/camera_front/image_color,thepub 查看详情

使用 OpenCV 在 Java 中进行反投影

】使用OpenCV在Java中进行反投影【英文标题】:BackProjectioninJavawithOpenCV【发布时间】:2013-06-0707:19:18【问题描述】:我想使用反投影检测带有OpenCV的图像中的特征。首先,我很乐意计算单个彩色小图像的直方图,然后将其应用于... 查看详情

如何在 Android 中使用 OpenCV+Tesseract 进行准确的文本识别?

】如何在Android中使用OpenCV+Tesseract进行准确的文本识别?【英文标题】:HowtouseOpenCV+TesseractforaccurateTextrecognitioninAndroid?【发布时间】:2014-06-1505:01:21【问题描述】:我正在尝试使用OpenCV(Android)处理使用相机拍摄的图像,然后将其... 查看详情

Opencv 图像有时间戳信息吗?

...布时间】:2021-08-1101:11:32【问题描述】:我目前正在尝试使用ROS的cv_bridge来转换OpencvMat图像和ROSsensor_msgs/Images。我没有将这个问题放在ROS回答站点中,而是在这里,因为我已经在thisanswer中读到,显然在此转换中,cv_bridge不会放... 查看详情

ros1云课→12图像可视化(代码片段)

...ff0c;车道识别算法,怎么做,云端也没啥摄像头。使用video_stream_opencv,下面详细介绍。在ROS1系统中,可以创建一个节点,在节点中展示来自即插即用摄像头 查看详情

使用 python 和 opencv 对图像进行 OCR

...时间】:2018-06-2000:12:18【问题描述】:我是计算机视觉、图像处理和OCR的新手。作为任务的一部分,我需要对附加的电子邮件执行OCR。然而,问题是ROI在所有图像中都不是恒定的。例如,在所有图像中,我们需要提取与患者Yadav... 查看详情

在 IOS Swift 项目中使用 OpenCV 进行视频处理

】在IOSSwift项目中使用OpenCV进行视频处理【英文标题】:VideoprocessingwithOpenCVinIOSSwiftproject【发布时间】:2016-09-2116:32:38【问题描述】:我使用桥接头(将Swift连接到ObjectiveC)和ObjectiveC包装器(将ObjectiveC连接到C++)在SwiftIOS项目中... 查看详情

使用opencv进行视频处理的音频输出

】使用opencv进行视频处理的音频输出【英文标题】:Audiooutputwithvideoprocessingwithopencv【发布时间】:2012-01-0112:45:07【问题描述】:我正在使用opencv处理视频,但同时我需要播放音频并简单地控制它,比如大声或当前帧数。我想我... 查看详情

在进行字符识别之前使用 OpenCV 进行图像预处理(tesseract)

】在进行字符识别之前使用OpenCV进行图像预处理(tesseract)【英文标题】:ImagepreprocessingwithOpenCVbeforedoingcharacterrecognition(tesseract)【发布时间】:2016-09-1502:05:08【问题描述】:我正在尝试开发用于车牌识别的简单PC应用程序(Java+Ope... 查看详情

使用 Opencv 从鼠标进行图形输入

...是否有类似的功能。如果OpenCV没有这个功能,其他任何C++图像处理库都可以提供类似的功能吗?谢谢。【问题讨论】:【参考方案1】: 查看详情