关键词：
文章目录
1.关键点检测
https://mydreamambitious.blog.csdn.net/article/details/125542337
2.算法实现的核心点
其中纵横比表示衡量是否眨眼；p1,p2,p3,p4,p5,p6为人眼的关键点坐标，||p2-p6||表示两个关键点之间的欧式距离。其实你只要看懂上面的图和公式即可。
论文地址
http://vision.fe.uni-lj.si/cvww2016/proceedings/papers/05.pdf
参考理论详解
https://blog.csdn.net/uncle_ll/article/details/117999920
3.算法实现
注：这个代码看起来有点多（复杂），但是读者不要“害怕”，这个思路非常的清晰，只要一步一步的来就很容易明白其中实现的过程（不难理解）。
（1）人脸的关键点集合
#对于68个检测点，将人脸的几个关键点排列成有序，便于后面的遍历
shape_predictor_68_face_landmark=OrderedDict([
('mouth',(48,68)),
('right_eyebrow',(17,22)),
('left_eye_brow',(22,27)),
('right_eye',(36,42)),
('left_eye',(42,48)),
('nose',(27,36)),
('jaw',(0,17))
])
（2）加载人脸检测库和人脸关键点检测库
# 加载人脸检测与关键点定位
#http://dlib.net/python/index.html#dlib_pybind11.get_frontal_face_detector
detector = dlib.get_frontal_face_detector()
#http://dlib.net/python/index.html#dlib_pybind11.shape_predictor
criticPoints = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
（3）绘制人脸检测的框
#绘制人脸画矩形框
def drawRectangle(detected,frame):
margin = 0.2
img_h,img_w,_=np.shape(frame)
if len(detected) > 0:
for i, locate in enumerate(detected):
x1, y1, x2, y2, w, h = locate.left(), locate.top(), locate.right() + 1, locate.bottom() + 1, locate.width(), locate.height()
xw1 = max(int(x1 - margin * w), 0)
yw1 = max(int(y1 - margin * h), 0)
xw2 = min(int(x2 + margin * w), img_w - 1)
yw2 = min(int(y2 + margin * h), img_h - 1)
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
face = frame[yw1:yw2 + 1, xw1:xw2 + 1, :]
cv2.putText(frame, 'Person', (locate.left(), locate.top() - 10),
cv2.FONT_HERSHEY_SIMPLEX, 1.2, (255, 0, 0), 3)
return frame
（4）对检测之后的人脸关键点坐标进行转换
#对检测之后获取的人脸关键点坐标进行转换
def predict2Np(predict):
# 创建68*2关键点的二维空数组[(x1,y1),(x2,y2)……]
dims=np.zeros(shape=(predict.num_parts,2),dtype=np.int)
#遍历人脸的每个关键点获取二维坐标
length=predict.num_parts
for i in range(0,length):
dims[i]=(predict.part(i).x,predict.part(i).y)
return dims
（5）计算欧式距离
#计算欧式距离
def Euclidean(PointA,PointB):
x=math.fabs(PointA[0]-PointB[0])
y=math.fabs(PointA[1]-PointB[1])
Ear=math.sqrt(x*x+y*y)
return Ear
（6）计算眼睛的纵横比
#计算是否眨眼的距离
def ComputeCloseEye(left_eye):
#计算P2与P6,P3与P5
P1=Euclidean(left_eye[1],left_eye[5])
P2=Euclidean(left_eye[2],left_eye[4])
#计算P1与P4
P3=Euclidean(left_eye[0],left_eye[3])
#计算P
P=(P1+P2)/(2*P3)
return P
（7）对人脸关键点绘制点
#获取左眼和右眼的关键点坐标值
avg_Ear=0.0
def draw_left_and_right_eye(detected,frame):
global avg_Ear
for (step,locate) in enumerate(detected):
#获取人眼的关键点
dims=criticPoints(frame,locate)
#将得到的坐标值转换为二维
dims=predict2Np(dims)
#获取左眼的关键点坐标值列表
left_eye=dims[42:48]
# 获取右眼的关键点坐标值列表
right_eye=dims[36:42]
#绘制左眼的点
for (x, y) in left_eye:
cv2.circle(img=frame, center=(x, y),
radius=2, color=(0, 255, 0), thickness=-1)
#绘制右眼的点
for (x, y) in right_eye:
cv2.circle(img=frame, center=(x, y),
radius=2, color=(0, 255, 0), thickness=-1)
#计算距离
earLeft=ComputeCloseEye(left_eye)
earRight=ComputeCloseEye(right_eye)
#计算左眼和右眼的平均纵横比
avg_Ear=(earRight+earLeft)/2
cv2.putText(img=frame,text='CloseEyeDist: '+str(round(avg_Ear,2)),org=(20,50),
fontFace=cv2.FONT_HERSHEY_SIMPLEX,fontScale=1.0,
color=(0,255,0),thickness=2)
return frame,avg_Ear
（8）设置相关的阈值
#设置纵横比的阈值
Ear_Threshod=0.2
#眨眼动作是一个快速闭合的过程，眨眼持续差不多为100-400ms
#设置当连续3帧的纵横比都小于阈值则表示眨眼
Ear_frame_Threshold=3
#一次任务中的总的眨眼次数
ToClose_Eye=0
（9）实时的人脸关键点检测
#实时的人脸关键点检测
def detect_time():
cap=cv2.VideoCapture(0)
#记录连续眨眼的次数
count=0
global ToClose_Eye
while cap.isOpened():
#记录开始时间
statime=time.time()
ret,frame=cap.read()
#检测人脸位置
detected = detector(frame)
#利用定位到的人脸进行人脸关键点检测
frame = drawRectangle(detected, frame)
frame,avg_Ear=draw_left_and_right_eye(detected,frame)
if avg_Ear<Ear_Threshod:
count+=1
if count>=Ear_frame_Threshold:
ToClose_Eye+=1
count=0
cv2.putText(img=frame,text='ToClose_Eye: '+str(ToClose_Eye),org=(20,80),fontFace=cv2.FONT_HERSHEY_SIMPLEX,
fontScale=1.0,color=(0,255,0),thickness=2)
#记录结束时间
endtime=time.time()
FPS=1/(endtime-statime)
cv2.putText(img=frame, text='FPS: '+str(int(FPS)), org=(20, 110), fontFace=cv2.FONT_HERSHEY_SIMPLEX,
fontScale=1.0, color=(0, 255, 0), thickness=2)
cv2.imshow('frame', frame)
key=cv2.waitKey(1)
if key==27:
break
cap.release()
cv2.destroyAllWindows()
（10）整体代码
import os
import cv2
import dlib
import time
import math
import numpy as np
from collections import OrderedDict
#对于68个检测点，将人脸的几个关键点排列成有序，便于后面的遍历
shape_predictor_68_face_landmark=OrderedDict([
('mouth',(48,68)),
('right_eyebrow',(17,22)),
('left_eye_brow',(22,27)),
('right_eye',(36,42)),
('left_eye',(42,48)),
('nose',(27,36)),
('jaw',(0,17))
])
# 加载人脸检测与关键点定位
#http://dlib.net/python/index.html#dlib_pybind11.get_frontal_face_detector
detector = dlib.get_frontal_face_detector()
#http://dlib.net/python/index.html#dlib_pybind11.shape_predictor
criticPoints = dlib.shape_predictor("shape_predictor_68_face_landmarks.dat")
#绘制人脸画矩形框
def drawRectangle(detected,frame):
margin = 0.2
img_h,img_w,_=np.shape(frame)
if len(detected) > 0:
for i, locate in enumerate(detected):
x1, y1, x2, y2, w, h = locate.left(), locate.top(), locate.right() + 1, locate.bottom() + 1, locate.width(), locate.height()
xw1 = max(int(x1 - margin * w), 0)
yw1 = max(int(y1 - margin * h), 0)
xw2 = min(int(x2 + margin * w), img_w - 1)
yw2 = min(int(y2 + margin * h), img_h - 1)
cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2)
face = frame[yw1:yw2 + 1, xw1:xw2 + 1, :]
cv2.putText(frame, 'Person', (locate.left(), locate.top() - 10),
cv2.FONT_HERSHEY_SIMPLEX, 1.2, (255, 0, 0), 3)
return frame
#对检测之后获取的人脸关键点坐标进行转换
def predict2Np(predict):
# 创建68*2关键点的二维空数组[(x1,y1),(x2,y2)……]
dims=np.zeros(shape=(predict.num_parts,2),dtype=np.int)
#遍历人脸的每个关键点获取二维坐标
length=predict.num_parts
for i in range(0,length):
dims[i]=(predict.part(i).x,predict.part(i).y)
return dims
#计算欧式距离
def Euclidean(PointA,PointB):
x=math.fabs(PointA[0]-PointB[0])
y=math.fabs(PointA[1]-PointB[1])
Ear=math.sqrt(x*x+y*y)
return Ear
#计算是否眨眼的距离
def ComputeCloseEye(left_eye):
#计算P2与P6,P3与P5
P1=Euclidean(left_eye[1],left_eye[5])
P2=Euclidean(left_eye[2],left_eye[4])
#计算P1与P4
P3=Euclidean(left_eye[0],left_eye[3])
#计算P
P=(P1+P2)/(2*P3)
return P
#获取左眼和右眼的关键点坐标值
avg_Ear=0.0
def draw_left_and_right_eye(detected,frame):
global avg_Ear
for (step,locate) in enumerate(detected):
#获取人眼的关键点
dims=criticPoints(frame,locate)
#将得到的坐标值转换为二维
dims=predict2Np(dims)
#获取左眼的关键点坐标值列表
left_eye=dims[42:48]
# 获取右眼的关键点坐标值列表
right_eye=dims[36:42]
#绘制左眼的点
for (x, y) in left_eye:
cv2.circle(img=frame, center=(x, y),
radius=2, color=(0, 255, 0), thickness=-1)
#绘制右眼的点
for (x, y) in right_eye:
cv2.circle(img=frame, center=(x, y),
radius=2, color=(0, 255, 0), thickness=-1)
#计算距离
earLeft=ComputeCloseEye(left_eye)
earRight=ComputeCloseEye(right_eye)
#计算左眼和右眼的平均纵横比
avg_Ear=(earRight+earLeft)/2
cv2.putText(img=frame,text='CloseEyeDist: '+str(round(avg_Ear,2)),org=(20,50),
fontFace=cv2.FONT_HERSHEY_SIMPLEX,fontScale=1.0,
color=(0,255,0),thickness=2)
return frame,avg_Ear
#设置纵横比的阈值
Ear_Threshod=0.2
#眨眼动作是一个快速闭合的过程，眨眼持续差不多为100-400ms
#设置当连续3帧的纵横比都小于阈值则表示眨眼
Ear_frame_Threshold=3
#一次任务中的总的眨眼次数
ToClose_Eye=0
#实时的人脸关键点检测
def detect_time():
cap=cv2.VideoCapture(0)
#记录连续眨眼的次数
count=0
global ToClose_Eye
while cap.isOpened():
#记录开始时间
statime=time.time()
ret,frame=cap.查看详情
dlib库包的介绍与使用，opencv+dlib检测人脸框opencv+dlib进行人脸68关键点检测，opencv+dlib实现人脸识别，dlib进行人脸特征聚类dlib视频目标跟踪(代码片段)
...lib人脸检测：绘制出人脸检测框2.1dlib人脸检测源码2.2opencv+dlib人脸检测2.3dlib人脸检测总结3dlib人脸关键点检测：并绘制检测框、关键点、不同区域关键点连线3.1dlib人脸关键点检测源码3.2opencv+dlib进行人脸关键点检测... 查看详情
人脸识别基于dlib库实现人脸特征值提取(代码片段)
目录一、Dlib库介绍与安装1.Dlib库简介2.安装Dlib库二、OpenCV介绍即安装1.OpenCV简介2.OpenCV安装三、提取人脸特征点四、在眼睛处绘制黑色的实心圆五、总结六、参考一、Dlib库介绍与安装1.Dlib库简介 Dlib库是一个机器学习的开源... 查看详情
视频人脸检测——dlib版(代码片段)
往期目录视频人脸检测——Dlib版（六）OpenCV添加中文（五）图片人脸检测——Dlib版（四）视频人脸检测——OpenCV版（三）图片人脸检测——OpenCV版（二）OpenCV环境搭建（一）更多更新，欢迎访问我的github：https://github.com/vipstone/... 查看详情
opencv联合dlib人脸识别例子(代码片段)
本篇文章是在上一篇文章opencv联合dlib人脸检测例子二（加快检测）的基础上做了一个人脸识别功能。本文章中的代码实现了人脸识别功能。检测目标图片中的人脸是不是库中的某张图片中的人脸，按照以下操作步骤... 查看详情
opencv联合dlib人脸识别例子(代码片段)
本篇文章是在上一篇文章opencv联合dlib人脸检测例子二（加快检测）的基础上做了一个人脸识别功能。本文章中的代码实现了人脸识别功能。检测目标图片中的人脸是不是库中的某张图片中的人脸，按照以下操作步骤... 查看详情
opencv联合dlib人脸检测例子二（加快检测）(代码片段)
本篇博客是在opencv联合dlib人脸检测例子的基础上改进了下，加快检测流程观察了下，opencv利用haar级联分类器检测人脸区域的速度要稍快于dlib的frontal_face_detector检测人脸区域的速度。所以这篇博客是利用opencv先检测出人... 查看详情
毕业设计深度学习疲劳检测驾驶行为检测-pythonopencvcnn(代码片段)
文章目录0前言1课题背景2相关技术2.1Dlib人脸识别库2.2疲劳检测算法2.3YOLOV5算法3效果展示3.1眨眼3.2打哈欠3.3使用手机检测3.4抽烟检测3.5喝水检测4最后0前言🔥这两年开始毕业设计和毕业答辩的要求和难度不断提升，传统的... 查看详情
opencv联合dlib人脸检测例子二（加快检测）(代码片段)
本篇博客是在opencv联合dlib人脸检测例子的基础上改进了下，加快检测流程观察了下，opencv利用haar级联分类器检测人脸区域的速度要稍快于dlib的frontal_face_detector检测人脸区域的速度。所以这篇博客是利用opencv先检测出人... 查看详情
终于安装成功dlib了，疲劳检测终于可以开工了
...安装。最后我安装dlib成功：于是我立马就开始做我的疲劳检测了，把我的眼睛检测出来一波：睁眼：闭眼： 查看详情
人脸检测高级：疲劳检测(代码片段)
...保留开启摄像头的的代码，取消注释即可使用。使用OpenCV构建犯困检测器要开始我们的实现，打开一个新文件，将其命名为detect_drowsiness.py，并插入以下代码：#importthenecessarypackagesfromscipy.spatialimportdistanceasdistfr... 查看详情
山东大学项目实训四——face_recognition使用opencv和dlib实现基于视频的人脸识别(代码片段)
Face_Recognition使用Opencv和Dlib实现基于视频的人脸识别文件夹介绍1、Resources\\pictures此文件夹下存放人脸保存结果2、Resources\\video此文件夹下存放带标注视频保存结果3、Resources\\faceS此文件夹下存放各个人物的图片，用于人脸库... 查看详情
opencv+openvino实现人脸landmarks实时检测(代码片段)
缘由自从OpenCV3.3版本引入深度神经网络(DNN)模块之后，OpenCV对DNN模块支持最好的表现之一就是开始支持基于深度学习人脸检测，OpenCV本身提供了两个模型分别是基于Caffe与Tensorflow的，Caffe版本的模型是半精度16位的，tensorflow版本... 查看详情
基于python_opencv人脸录入识别系统（应用dlib机器学习库）(代码片段)
基于python_opencv人脸录入、识别系统（应用dlib机器学习库）近几年应用opencv机器学习方法识别人脸的技术成为了热潮，本人根据当今的识别技术与方法，历时四个多月开发出一套基于dlib机器学习库的识别项目。希... 查看详情
图片人脸检测——dlib版
上几篇给大家讲了OpenCV的图片人脸检测，而本文给大家带来的是比OpenCV更加精准的图片人脸检测Dlib库。点击查看往期：《图片人脸检测——OpenCV版（二）》《视频人脸检测——OpenCV版（三）》dlib与OpenCV对比识别精准... 查看详情
基于dlib库关键点检测（图片和视频）demo(代码片段)
环境win10，python3.9,dlib-19.22.9安装dlib库存在很多问题，尤其是在win10上，记录了存在的问题，供参考： dlibyou俩个版本，一个是使用到GPU和cuda的版本一个是没有使用的版本要想在python环境下安装dlib库，... 查看详情
基于dlib库关键点检测（图片和视频）demo(代码片段)
环境win10，python3.9,dlib-19.22.9安装dlib库存在很多问题，尤其是在win10上，记录了存在的问题，供参考： dlibyou俩个版本，一个是使用到GPU和cuda的版本一个是没有使用的版本要想在python环境下安装dlib库，... 查看详情
基于yolov5的疲劳驾驶检测系统（python+清新界面+数据集）(代码片段)
...，以防止交通事故发生。本文详细介绍疲劳驾驶检测系统实现原理的同时，给出Python的实现代码、训练数据集以及PyQt的UI界面。在界面中可以选择各种图片、视频进行检测识别，可对图像中存在的多个目标进行识别分类。博文提... 查看详情