技术架构
AI 情感计算 · 心理风险预警专家
Affective Computing · Micro-expression · LSTM Depression Modeling
Architecture
三层技术架构
从感知到应用,构建心理健康 AI 技术基座
采集层
Perception
OpenFace AU 检测
17 种 FACS 动作单元实时检测
面部关键点追踪
68 点 Landmark 精准定位
LBP-TOP 微表情
三正交面时空特征提取
FacialPulse
面部血流脉冲检测
头部姿态估计
Pitch / Yaw / Roll 三轴
注视方向追踪
视线方向向量估计
↓
算法层
Algorithm
Window Block LSTM
多窗口时序情绪建模
AU 加权评估
正相关 / 保护因子加权
注意力机制
Attention 权重自适应
标签平滑
Label Smoothing 策略
IG 可解释性
Integrated Gradient
DeepFace 预训练
迁移学习特征提取
↓
应用层
Application
风险评估引擎
48h 滑动窗口 / 0-3 分级
预警通知系统
三级响应 / 多通道推送
数据可视化
趋势 / 热力 / 时序图
多租户管理
SaaS 独立部署 / 数据隔离
心理画像报告
长期轨迹 / 个性化画像
权限审计
RBAC / 操作日志全审计
Core Algorithms
四大核心算法
支撑心理健康风险精准评估的算法基座
01
OpenFace 特征引擎
- 40 维 AU 动作单元检测
- 头部姿态估计
- 注视方向追踪
- 基于 OpenFace 2.0
👁️
02
LSTM 风险模型
- Window Block LSTM 架构
- 注意力机制
- 标签平滑策略
- 准确率 91.67%
🧠
03
CASME 数据底座
- 中科院心理所 CASME3
- 微表情数据集
- 学术授权使用
- 持续扩充标注
📦
04
规则引擎 RuleKit
- 48h 滑动窗口
- AU 加权求和
- 风险等级 0-3 分级
- 可配置阈值策略
⚙️
Code Insight
核心算法代码示例
基于 OpenFace AU 提取与 Window Block LSTM 的抑郁风险识别
risk_assessment.py
import numpy as np
from openface import FaceAlignment
from models import WindowBlockLSTM
class DepressionRiskAssessor:
def __init__(self):
self.au_extractor = FaceAlignment(device='cuda')
self.lstm_model = WindowBlockLSTM.load_pretrained(
'whispercare_v3.pth'
)
def assess(self, face_frames):
# 提取 40 维 AU 特征序列
au_sequence = self.au_extractor.extract_batch(face_frames)
# 关键 AU 加权(基于论文5 IG 排序)
risk_weights = {'AU26': 0.32, 'AU20': 0.28, 'AU07': 0.21}
protective_weights = {'AU06': 0.18, 'AU12': 0.15}
# LSTM 时序建模 + 概率融合
risk_prob = self.lstm_model.predict(au_sequence)
return {'risk_level': int(risk_prob * 3), 'probability': risk_prob}
Action Units
关键面部动作单元
区分正相关 AU(风险信号)与保护因子 AU(积极信号)
🔴 正相关 AU — 风险信号
AU26
下颌下降
AU20
嘴唇伸展
AU07
眼睑收紧
正相关 AU 在抑郁倾向个体中出现频率显著升高,加权后提升风险评分
🟢 保护因子 AU — 积极信号
AU06
脸颊提升(杜乡笑)
AU25
嘴唇分开
AU12
嘴角上扬(微笑)
AU14
酒窝(嘴角收紧)
保护因子 AU 反映真实积极情绪,加权后降低风险评分
Research Partners
科研合作伙伴
与国内顶尖科研团队共建情感计算学术生态
傅小兰 团队
中国科学院心理研究所
微表情识别与情绪心理机制研究,为 AU 算法提供心理学理论支撑
郑文明 团队
东南大学
情感信息处理与 LBP-TOP 微表情识别,联合发表 SCI 论文
汪萌 团队
合肥工业大学
多模态情感计算与深度学习,共建 LSTM 时序情绪建模联合实验
山世光 团队
中国科学院计算技术研究所
面部关键点检测与 AU 识别,联合优化 OpenFace 本地化适配