技术架构

AI 情感计算 · 心理风险预警专家

Affective Computing · Micro-expression · LSTM Depression Modeling

Architecture

三层技术架构

从感知到应用,构建心理健康 AI 技术基座

👁️
采集层
Perception
OpenFace AU 检测
17 种 FACS 动作单元实时检测
面部关键点追踪
68 点 Landmark 精准定位
LBP-TOP 微表情
三正交面时空特征提取
FacialPulse
面部血流脉冲检测
头部姿态估计
Pitch / Yaw / Roll 三轴
注视方向追踪
视线方向向量估计
🧠
算法层
Algorithm
Window Block LSTM
多窗口时序情绪建模
AU 加权评估
正相关 / 保护因子加权
注意力机制
Attention 权重自适应
标签平滑
Label Smoothing 策略
IG 可解释性
Integrated Gradient
DeepFace 预训练
迁移学习特征提取
⚙️
应用层
Application
风险评估引擎
48h 滑动窗口 / 0-3 分级
预警通知系统
三级响应 / 多通道推送
数据可视化
趋势 / 热力 / 时序图
多租户管理
SaaS 独立部署 / 数据隔离
心理画像报告
长期轨迹 / 个性化画像
权限审计
RBAC / 操作日志全审计
Core Algorithms

四大核心算法

支撑心理健康风险精准评估的算法基座

01
OpenFace 特征引擎
  • 40 维 AU 动作单元检测
  • 头部姿态估计
  • 注视方向追踪
  • 基于 OpenFace 2.0
👁️
02
LSTM 风险模型
  • Window Block LSTM 架构
  • 注意力机制
  • 标签平滑策略
  • 准确率 91.67%
🧠
03
CASME 数据底座
  • 中科院心理所 CASME3
  • 微表情数据集
  • 学术授权使用
  • 持续扩充标注
📦
04
规则引擎 RuleKit
  • 48h 滑动窗口
  • AU 加权求和
  • 风险等级 0-3 分级
  • 可配置阈值策略
⚙️
Code Insight

核心算法代码示例

基于 OpenFace AU 提取与 Window Block LSTM 的抑郁风险识别

risk_assessment.py
import numpy as np
from openface import FaceAlignment
from models import WindowBlockLSTM

class DepressionRiskAssessor:
    def __init__(self):
        self.au_extractor = FaceAlignment(device='cuda')
        self.lstm_model = WindowBlockLSTM.load_pretrained(
            'whispercare_v3.pth'
        )
    
    def assess(self, face_frames):
        # 提取 40 维 AU 特征序列
        au_sequence = self.au_extractor.extract_batch(face_frames)
        
        # 关键 AU 加权(基于论文5 IG 排序)
        risk_weights = {'AU26': 0.32, 'AU20': 0.28, 'AU07': 0.21}
        protective_weights = {'AU06': 0.18, 'AU12': 0.15}
        
        # LSTM 时序建模 + 概率融合
        risk_prob = self.lstm_model.predict(au_sequence)
        return {'risk_level': int(risk_prob * 3), 'probability': risk_prob}
Action Units

关键面部动作单元

区分正相关 AU(风险信号)与保护因子 AU(积极信号)

🔴 正相关 AU — 风险信号

AU26 下颌下降 AU20 嘴唇伸展 AU07 眼睑收紧

正相关 AU 在抑郁倾向个体中出现频率显著升高,加权后提升风险评分

🟢 保护因子 AU — 积极信号

AU06 脸颊提升(杜乡笑) AU25 嘴唇分开 AU12 嘴角上扬(微笑) AU14 酒窝(嘴角收紧)

保护因子 AU 反映真实积极情绪,加权后降低风险评分

Research Partners

科研合作伙伴

与国内顶尖科研团队共建情感计算学术生态

傅小兰 团队
中国科学院心理研究所

微表情识别与情绪心理机制研究,为 AU 算法提供心理学理论支撑

郑文明 团队
东南大学

情感信息处理与 LBP-TOP 微表情识别,联合发表 SCI 论文

汪萌 团队
合肥工业大学

多模态情感计算与深度学习,共建 LSTM 时序情绪建模联合实验

山世光 团队
中国科学院计算技术研究所

面部关键点检测与 AU 识别,联合优化 OpenFace 本地化适配

技术合作咨询

与怀言科研团队探讨情感计算与心理健康技术合作

联系技术团队