用 Android 做疲劳检测

2026/9/7·技术分享·阅读英文版

我做了一个 Android 疲劳提醒应用，用前置摄像头观察闭眼和张嘴，在手机上完成检测。模型接进来以后，真正需要想清楚的是后面的判断。眨一下眼就报警，提醒很快会变成噪声；摄像头看不清了还显示正常，又会让人误解系统的能力。

先把眼睛和嘴巴量出来

项目用的是 ML Kit Face Detection，模型随 APK 打包，安装后不用再等模型下载。它提供人脸轮廓、嘴部关键点和睁眼概率，疲劳规则由应用自己实现。这样检测和判定就能分开，调整持续时间不用动相机代码。

Google ML Kit 人脸检测插画，将图像中的人脸转换为可供程序使用的特征信息
模型负责提取人脸信息，什么时候提醒，由后面的规则决定。插画来自 Google ML Kit 官方文档。

眼睛用 EAR，也就是眼睛的纵横比。从眼轮廓里选六个点，把两段上下眼睑距离相加，再除以两倍眼宽。计算式是 EAR =（上下一组眼睑距离 + 另一组眼睑距离）÷（2 × 眼宽）。闭眼时高度变小，EAR 通常也会下降。用比例可以减轻人脸远近带来的尺度变化，但侧脸、遮挡和关键点偏移仍然会影响结果。

Google ML Kit 官方人脸轮廓示例，标出了眼睑、眉毛和嘴唇的轮廓点及编号
Google ML Kit 的官方轮廓示例，点图可查看原图。眼睑和嘴唇的点要分清，本文的 MAR 量的是唇外沿。这是官方示例，不是本应用实测截图。图片来源。

嘴巴用 MAR。这个项目取上唇外上沿中心到下唇外下沿中心的距离，除以左右嘴角距离。公式看着简单，取点位置却不能含糊。量唇外沿和量嘴巴内部开口，算出来的数不会一样，网上找到一个阈值直接抄过来，很可能对不上。

眼部还保留了 ML Kit 的睁眼概率，与 EAR 做 OR 判断，任一路满足条件就进入对应计时。概率这一路要求左右眼的值都有效。这样能让两路信号各自参与，但也意味着单路误差就可能触发候选；它们来自同一个检测器，不能当成两套独立证据。嘴部单独判断，眼睛暂时不可用时，有效的 MAR 仍然可以参与检测。

一次越线，还不能算一个动作

单帧只知道这一刻眼睛有多窄、嘴张得有多大。要把眨眼、短暂张嘴和持续动作分开，还得加上时间。当前普通闭眼条件是 EAR ≤ 0.22，或两眼概率都有效时任一眼低于 0.35，持续 800 ms 后进入 WARNING。更强的闭眼条件是 0 < EAR < 0.17，或两眼概率都低于 0.35，持续 400 ms 就进入 DANGER，且优先级更高。

哈欠候选用的是双阈值。MAR 超过 0.40 才开始计时，开始后只要不低于 0.35 就继续，累计达到 800 ms 才提醒。假设数值在 0.41、0.39、0.42 之间晃，单一阈值会让计时反复归零。嘴还张着，计时器已经替你闭上了。

代码里的关键分支只有几行。下面节选自判定逻辑，省略了无效值检查和后续计时。

val yawning = mar != null && if (highMarStartMs == null) {
    mar > config.marYawnEnterThreshold  // 0.40
} else {
    mar >= config.marYawnExitThreshold  // 0.35
}

时间取相机帧的时间戳，不取模型回调完成的时刻。否则推理这次慢一点、下次快一点，也会混进动作时长。相邻有效观测间隔超过 1.5 秒时，未完成的计时清零，从当前帧重新开始。中间没有画面，系统就没有依据把两次张嘴拼成一次连续动作。这个间隔也是工程取舍，不能证明采样之间发生了什么。

看不清，就别继续报正常

判定器除了 NORMAL、WARNING 和 DANGER，还留了 DEGRADED。没有人脸、眼嘴信号全部无效，或检测到黑暗画面、相机异常时，就清除未完成计时，显示当前无法可靠检测的原因。NORMAL 也只表示当前有效信号没有达到提醒条件，不能解释成驾驶员一定清醒。

相机侧通过 acquireLatestImage() 取最新分析帧，当前会话已有推理任务时，新帧直接释放，避免越算越落后。停止检测或切到后台时，会话编号递增；旧任务即使晚点返回，也不能覆盖新的状态。重新开始检测后，同样要从新画面重新计时。

声音和振动只由 DANGER 触发，WARNING 只更新界面。危险告警做了约两秒冷却，并用不重放历史事件的 SharedFlow 发送；界面只在前台恢复状态下接收，暂停时停止提示。否则回到应用突然补响一声，提醒的就成了过去的自己。

目前这套实现仍是固定阈值的研究原型，没有个人校准。持续张嘴也可能来自说话，睁眼概率还有正脸角度限制。当前手机端只在模拟器上验证了安装、相机链路和前后台切换，真人识别、覆盖层精度与声音振动还需要目标手机实测。接下来更值得做的是用正常说话、短张嘴、自然哈欠和闭眼录像，在静止环境里检验误报与漏报；这套原型还不能当作经过道路验证的驾驶安全系统。

听歌