本篇源自:优秀创作者 lulugl


本文将介绍基于米尔电子MYD-LR3576开发板(米尔基于瑞芯微 RK3576开发板)的人脸疲劳检测方案测试。


米尔基于RK3576核心板/开发板

【前言】

人脸疲劳检测:一种通过分析人脸特征来判断一个人是否处于疲劳状态的技术。其原理主要基于计算机视觉和机器学习方法。当人疲劳时,面部会出现一些特征变化,如眼睛闭合程度增加、眨眼频率变慢、打哈欠、头部姿态改变等。
例如,通过检测眼睛的状态来判断疲劳程度是一个关键部分。正常情况下,人的眨眼频率相对稳定,而当疲劳时,眨眼频率会降低,并且每次眨眼时眼睛闭合的时间可能会延长。同时,头部可能会不自觉地下垂或者摇晃,这些特征都可以作为疲劳检测的依据。米尔MYC-LR3576采用8核CPU+搭载6 TOPS的NPU加速器,3D GPU,能够非常轻松的实现这个功能,下面就如何实现这一功能分享如下:

【硬件】

1、米尔MYC-LR3576开发板
2、USB摄像头

【软件】

1、v4l2
2、openCV
3、dlib库:dlib 是一个现代化的 C++ 工具包,它包含了许多用于机器学习、图像处理、数值计算等多种任务的算法和工具。它的设计目标是提供高性能、易于使用的库,并且在开源社区中被广泛应用。

【实现步骤】

1、安装python-opencv
2、安装dlib库
3、安装v4l2库

代码实现】

1、引入cv2、dlib以及线程等:

  1. import cv2
  2. import dlib
  3. import numpy as np
  4. import time
  5. from concurrent.futures import ThreadPoolExecutor
  6. import threading

2、初始化dlib的面部检测器和特征点预测器

  1. detector = dlib.get_frontal_face_detector()
  2. predictor = dlib.shape_predictor('shape_predictor_68_face_landmarks.dat')

3、定义计算眼睛纵横比的函数

  1. def eye_aspect_ratio(eye):
  2.     A = np.linalg.norm(np.array(eye[1]) - np.array(eye[5]))
  3.     B = np.linalg.norm(np.array(eye[2]) - np.array(eye[4]))
  4.     C = np.linalg.norm(np.array(eye[0]) - np.array(eye[3]))
  5.     ear = (A + B) / (2.0 * C)                                                                                
  6.     return ear

4、定义计算头部姿势的函数

  1. def get_head_pose(shape):
  2.     # 定义面部特征点的三维坐标
  3.     object_points = np.array([
  4.         (0.0, 0.0, 0.0),             # 鼻尖
  5.         (0.0, -330.0, -65.0),        # 下巴
  6.         (-225.0, 170.0, -135.0),     # 左眼左眼角
  7.         (225.0, 170.0, -135.0),      # 右眼右眼角
  8.         (-150.0, -150.0, -125.0),    # 左嘴角
  9.         (150.0, -150.0, -125.0)      # 右嘴角
  10.     ], dtype=np.float32)

  11.     image_pts = np.float32([shape for i in [30, 8, 36, 45, 48, 54]])
  12.     size = frame.shape
  13.     focal_length = size[1]
  14.     center = (size[1] // 2, size[0] // 2)
  15.     camera_matrix = np.array(
  16.         [[focal_length, 0, center[0]],
  17.          [0, focal_length, center[1]],
  18.          [0, 0, 1]], dtype="double"
  19.     )

  20.     dist_coeffs = np.zeros((4, 1))
  21.     (success, rotation_vector, translation_vector) = cv2.solvePnP(
  22.         object_points, image_pts, camera_matrix, dist_coeffs, flags=cv2.SOLVEPNP_ITERATIVE
  23.     )

  24.     rmat, _ = cv2.Rodrigues(rotation_vector)
  25.     angles, _, _, _, _, _ = cv2.RQDecomp3x3(rmat)
  26.     return angles

6、打开摄像头
我们先使用v4l2-ctl --list-devices来例出接在开发板上的列表信息:

  1. USB Camera: USB Camera (usb-xhci-hcd.0.auto-1.2):
  2.         /dev/video60
  3.         /dev/video61
  4.         /dev/media7

7、创建多线程处理函数,实现采集与分析分离:

  1. # 多线程处理函数
  2. def process_frame(frame):
  3.     global COUNTER, TOTAL
  4.     gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
  5.     faces = detector(gray, 0)  # 第二个参数为0,表示不使用upsampling

  6.     for face in faces:
  7.         landmarks = predictor(gray, face)
  8.         shape = [(landmarks.part(i).x, landmarks.part(i).y) for i in range(68)]

  9.         left_eye = shape[36:42]
  10.         right_eye = shape[42:48]

  11.         left_ear = eye_aspect_ratio(left_eye)
  12.         right_ear = eye_aspect_ratio(right_eye)
  13.         ear = (left_ear + right_ear) / 2.0

  14.         if ear < EYE_AR_THRESH:
  15.             with lock:
  16.                 COUNTER += 1
  17.         else:
  18.             with lock:
  19.                 if COUNTER >= EYE_AR_CONSEC_FRAMES:
  20.                     TOTAL += 1
  21.                 COUNTER = 0

  22.         # 绘制68个特征点
  23.         for n in range(0, 68):
  24.             x, y = shape[n]
  25.             cv2.circle(frame, (x, y), 2, (0, 255, 0), -1)

  26.         cv2.putText(frame, f"Eye AR: {ear:.2f}", (10, 30), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
  27.         cv2.putText(frame, f"Blink Count: {TOTAL}", (10, 60), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)

  28.         # 计算头部姿势
  29.         angles = get_head_pose(shape)
  30.         pitch, yaw, roll = angles
  31.         cv2.putText(frame, f"Pitch: {pitch:.2f}", (10, 120), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
  32.         cv2.putText(frame, f"Yaw: {yaw:.2f}", (10, 150), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)
  33.         cv2.putText(frame, f"Roll: {roll:.2f}", (10, 180), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)

  34.         # 判断疲劳状态
  35.         if COUNTER >= EYE_AR_CONSEC_FRAMES or abs(pitch) > 30 or abs(yaw) > 30 or abs(roll) > 30:
  36.             cv2.putText(frame, "Fatigue Detected!", (10, 210), cv2.FONT_HERSHEY_SIMPLEX, font_scale, (0, 0, 255), 2)

  37.     return frame

【米尔MYC-LR3576核心板及开发板】
这块开发板性能强大,能轻松实现对人脸的疲劳检测,通过计算结果后进入非常多的工业、人工智能等等的实用功能。