正文

mediapipe之人脸特征点468检测(代码片段)

月疯  月疯  2022-12-07  470

关键词：

官网地址：

https://github.com/google/mediapipehttps://github.com/google/mediapipe

Mediapipe是google的一个开源项目，支持跨平台的常用ML方案。项目主页戳这里，可以看到很多常用的AI功能它都支持，举几个常用的例子:

人脸检测
FaceMesh: 从图像/视频中重建出人脸的3D Mesh，可以用于AR渲染
人像分割: 从图像/视频中把人分割出来，可用于视频会议，像Zoom/钉钉都有这样的功能
手势跟踪：可以标出21个关键点的3D坐标
人体姿态估计: 可以给出33个关键点的3D坐标
头发上色：可以把头发检测出来，并图上颜色

直接上demo：

import cv2
import mediapipe as mp
import time

class FaceMeshDetector():
    def __init__(self,staticMode=False,maxFaces=2,minDetectionCon=0.5,minTrackCon=0.5):
        self.staticMode = staticMode
        self.maxFaces = maxFaces
        self.minDetectionCon = minDetectionCon
        self.minTrackCon = minTrackCon

        self.mpDraw = mp.solutions.drawing_utils
        self.mpFaceMesh = mp.solutions.face_mesh
        self.faceMesh = self.mpFaceMesh.FaceMesh(self.staticMode,self.maxFaces,False,self.minDetectionCon,self.minTrackCon)  # 一张脸显示
        # 設置点的大小和半径
        self.drawSpec = self.mpDraw.DrawingSpec(thickness=1, circle_radius=2)

    def findFaceMesh(self, img, draw=True):
        self.imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
        self.results = self.faceMesh.process(self.imgRGB)
        faces = []
        if self.results.multi_face_landmarks:
            for faceLms in self.results.multi_face_landmarks:
                if draw:
                   self.mpDraw.draw_landmarks(img, faceLms, self.mpFaceMesh.FACEMESH_LEFT_EYEBROW, self.drawSpec,
                                           self.drawSpec)  # 设置点的大小
                face =[]
                for id,lm in enumerate(faceLms.landmark):
                    # print(lm)
                    ih, iw, ic = img.shape
                    x, y = int(lm.x * iw), int(lm.y * ih)
                    #绘制出坐标点的数字
                    cv2.putText(img, str(id), (x, y), cv2.FONT_HERSHEY_PLAIN, 0.5, (0, 255, 0), 1)
                    face.append([x,y])
                faces.append(face)
        return img,faces


def main():
    cap = cv2.VideoCapture("../videos/heng.mp4")
    pTime = 0
    detector = FaceMeshDetector(maxFaces=2)
    while True:
        success, img = cap.read()
        img,faces = detector.findFaceMesh(img,False) #True表示绘制人脸，False表示不绘制人脸
        if len(faces)!=0:
            print(faces[0])
        cTime = time.time()
        fps = 1 / (cTime - pTime)
        pTime = cTime
        cv2.putText(img, f'FPSint(fps)', (20, 70), cv2.FONT_HERSHEY_PLAIN, 3, (0, 255, 0), 3)
        cv2.imshow("Image", img)
        cv2.waitKey(1)


if __name__ == "__main__":
    main()

效果：

利用机器学习（mediapipe）进行人脸468点的3d坐标检测--视频实时检测(代码片段)

...何在实时视频中，进行人脸468点的坐标检测。importcv2importmediapipeasmpmp_drawing=mp.solutions.drawing_utilsmp_face_mesh=mp.solutions.face_meshface_mesh=mp_face_mesh.FaceMesh(min_detection_confidence=0.5,min_tracking_confidence=0.5)drawing_spec=mp_drawing.DrawingSpec(thickness=2,cir... 查看详情

ios开发之机器学习框架mediapipe(代码片段)

MediaPipe是谷歌开源的机器学习框架，用于处理视频、音频等时间序列数据。MediaPipeSolutions提供了16个Solutions:人脸检测、FaceMesh(面部网格)、虹膜、手势、姿态、人体、人物分割、头发分割、目标检测、BoxTracking、InstantMotionTrac... 查看详情

人脸人脸特征点检测

人脸特征点检测算法：PFLD人脸关键点检测之PFLD_pfld优化_AI算法-图哥的博客-CSDN博客特征点数量：正脸68个、侧脸39个特征点Menpo2D数据集：包含正脸和侧脸，正脸特征点标注了68个特征点，侧脸特征点标注了39个... 查看详情

mediapipe基础人脸网格(代码片段)

1.摘要MediaPipeFaceMesh是一种面部几何解决方案，即使在移动设备上也能实时估计468个3D面部标志。它采用机器学习(ML)来推断3D表面几何形状，只需要一个摄像头输入，无需专用深度传感器。该解决方案在整个管道中利用... 查看详情

[深度学习][python]mediapip的人脸关键点图解

mediapip的人脸关键点一共有468个我在图中只看到467最大值，但是实际代码输出的478的关键点，从输出结果索引468-472存储的是人眼左边5个关键点，473-477存储的是人眼右边5个关键点。关键点图在网上还有点难找因此放这... 查看详情

人脸识别系列之人脸检测--训练基于肤色特征的检测

前言：基于特征的方法是利用人脸的先验知识导出的规则进行人脸检测。一般来说，常用的特征包括人脸和人脸器官典型的边缘和形状特征（如人脸轮廓、虹膜轮廓、嘴唇轮廓等）、纹理特征（纹理是在图上表现为灰度或颜色分... 查看详情

人脸识别系列之人脸检测--训练基于肤色特征的检测

mediapipe实现手指关键点检测及追踪，人脸识别及追踪(代码片段)

...enCV的更多信息(https://opencv.org/)除了OpenCV，我们将使用MediaPipe库。1.MediaPipe简介MediaPipe是一个主要用于构建音频、视频或任何时间序列数据的框架。在MediaPipe框架的帮助下，我们可以为不同的媒体处理功能构建管道。MediaPip... 查看详情

python之人脸特征提取(代码片段)

Python之人脸特征提取一、安装dlib及OPENCV1.dlib安装2.安装opencv二、绘制人脸的68个特征点三、绘制黑色实心圈三、总结参考一、安装dlib及OPENCV1.dlib安装由于本文使用的python版本为3.8，因此直接使用cmd安装：pipinstalldlib-19.19.0-... 查看详情

opencv-python实战（15）——面部特征点检测详解（仅需5行代码学会3种面部特征点检测方法）(代码片段)

...点4.使用face_recognition检测面部特征点小结系列链接0.前言人脸处理是人工智能中的一个热门话题，人脸处理可以使用计算机视觉算法查看详情

pyhton，opencv对象检测之——haar级联人脸及眼睛检测(代码片段)

Pyhton，OpenCV对象检测之——Haar级联人脸及眼睛检测1.效果图2.原理2.1Haar人脸检测原理2.2Haar级联预训练的模型3.源码3.1图像面部及眼睛检测3.2视频帧面部及眼睛检测参考这篇博客将介绍如何使用预训练的模型——基于Haar特征的... 查看详情

opencv&mediapipe人脸检测+摄像头实时(代码片段)

...坐标中分别可视化人脸网格、轮廓、瞳孔importcv2ascvimportmediapipeasmpfromtqdmimporttqdmimporttimeimportmatplotlib.pyplotasplt#定义可视化图像函数deflook_img(img):img_RGB=cv.cvtColor(img,cv.COLOR_BGR2RGB)plt.imshow(img_RGB)plt.show()#导入三维人脸关键点检测模... 查看详情

机器视觉python+opencv+mediapipe实时人流检测(代码片段)

安装所需模块：pipinstallcv2pipinstallmidiapipeMidiaPipeMediaPipe为直播和流媒体提供跨平台、可定制的机器学习解决方案。端到端加速引擎：内置的快速ML推理和处理即使在常见硬件上也能加速一次构建，任意部署：统一解... 查看详情

人脸识别完整项目实战（14）：实时人脸特征点标定程序设计

一、前言本文是《人脸识别完整项目实战》系列博文第14章《实时人脸特征点标定程序设计》，本章内容详细介绍Win10环境下，基于VisualStudio2015+Opencv+Dlib开发环境，如何实现实时视频流人脸特征点标定程序的设计。本文内容已经... 查看详情

mediapipe入门——搭建姿态检测模型并实时输出人体关节点3d坐标(代码片段)

一.引言MediaPipe是一款由GoogleResearch开发并开源的多媒体机器学习模型应用框架。在谷歌，一系列重要产品，如YouTube、GoogleLens、ARCore、GoogleHome以及Nest，都已深度整合了MediaPipe。MediaPipe大有用武之地，可以做物体检... 查看详情

opencv-角点检测之harris角点检测(代码片段)

...域，兴趣点（interestpoints），或称作关键点（keypoints）、特征点（featurepoints）被大查看详情

facelandmark人脸特征点检测

1.ASM&AAM算法ASM（ActiveShapeModel）算法介绍：http://blog.csdn.net/carson2005/article/details/8194317 AAM（ActiveAppearanceModel）算法介绍：http://blog.csdn.net/carson2005/article/details/8196996AAM(Ac 查看详情

人脸活体检测人脸识别：眨眼+张口(代码片段)

一：dlib的shape_predictor_68_face_landmarks模型该模型能够检测人脸的68个特征点（faciallandmarks），定位图像中的眼睛，眉毛，鼻子，嘴巴，下颌线（ROI，RegionofInterest）下颌线查看详情