情绪识别（Emotion Recognition）是人工智能领域中一个非常热门的方向，它试图让机器像人一样读懂他人的情绪。在Android平台上，情绪识别通常指通过手机摄像头采集人脸图像，再由算法分析面部表情，最终输出高兴、悲伤、愤怒、惊讶、恐惧、厌恶、中性等情绪类别。这项技术被广泛应用于智能相册分类、驾驶员疲劳监测、教育注意力分析、心理健康辅助工具等场景。本文将从原理、方案选型、完整实现和注意事项四个层面，详细讲解如何在Android上构建一套情绪识别系统。
一、情绪识别的技术原理是什么
要理解情绪识别，首先要了解面部表情的科学基础。心理学家Paul Ekman提出的面部动作编码系统FACS（Facial Action Coding System）将人脸划分为44个动作单元（Action Unit，简称AU），例如AU12代表嘴角上扬，AU6代表眼角起皱。人类的所有表情都可以看作这些动作单元的组合。高兴的情绪通常对应AU6加AU12同时出现，而愤怒往往伴随眉毛下压（AU4）和嘴唇紧绷（AU23）。这套体系为计算机做表情分析提供了理论基础。
在深度学习时代，情绪识别的主流做法不再依赖人工设计的特征，而是直接使用卷积神经网络（CNN）从人脸图像中自动学习特征。典型的流程是：先通过人脸检测算法定位画面中的人脸区域，接着对人脸做对齐和裁剪，统一缩放到固定尺寸（比如48x48或224x224像素），然后送入训练好的分类网络，输出各类情绪的概率分布。常用的数据集包括FER2013，它包含约3.5万张48x48灰度人脸图，标注了7类基本情绪；还有CK+、AffectNet等规模更大的数据集。在移动端，轻量级的MobileNet、EfficientNet-Lite等骨干网络是常见选择，因为它们参数量小、推理速度快。
需要注意的是，情绪识别和情绪合成是两个不同方向，前者是分析输入，后者是生成输出，初学者容易混淆。另外基于视觉的情绪识别也只是整个情感计算领域的一个分支，语音情绪识别（通过音调、语速分析）和生理信号情绪识别（通过心率、皮电分析）同样重要，本文聚焦于视觉方向。
二、Android端的技术方案如何选型
在Android上实现情绪识别，主要有三条技术路线，各有优劣。第一种是使用云端API，例如微软Azure的Face API、百度AI开放平台的表情识别接口。优点是模型精度高、无需自己训练，缺点是必须联网、有延迟、按调用量收费，且人脸数据上传云端存在隐私合规风险，在欧盟GDPR和国内个人信息保护法的约束下，人脸属于敏感生物特征信息，上传云端需要格外谨慎。
第二种是端侧集成现成SDK，最典型的是Google的ML Kit。ML Kit提供了人脸检测（Face Detection）能力，可以快速返回人脸边界框以及多个关键点坐标，如眼睛、鼻子、嘴巴位置。但要注意ML Kit本身并不直接输出情绪分类结果，它负责的是人脸定位和人脸特征点提取，情绪分类需要开发者自行补充一个分类模型。这种组合方式是目前Android端最常见、也是最灵活的做法。
第三种是全自定义方案，即使用TensorFlow Lite或PyTorch Mobile在端侧部署自己训练的模型。开发者可以基于FER2013数据集训练一个CNN分类器，将模型转换为.tflite格式后嵌入应用。这种方案完全离线运行，隐私性最好，适合对数据安全要求高的产品。下表对三种方案做了对比：
| 方案 | 精度 | 离线支持 | 开发成本 | 隐私性 |
|---|---|---|---|---|
| 云端API | 高 | 不支持 | 低 | 较差 |
| ML Kit+自训模型 | 中高 | 支持 | 中 | 好 |
| 完全自定义TFLite | 取决于训练 | 支持 | 高 | 好 |
三、实战：用ML Kit加TensorFlow Lite实现实时情绪识别
下面给出一个端侧方案的核心实现思路。整体流程分为四步：申请摄像头权限、获取相机图像流、用人脸检测定位人脸并裁剪、送入情绪分类模型推理。首先在build.gradle中引入依赖：
dependencies {
implementation 'com.google.mlkit:face-detection:16.1.6'
implementation 'org.tensorflow:tensorflow-lite:2.14.0'
implementation 'org.tensorflow:tensorflow-lite-support:0.4.4'
}
接着编写图像分析逻辑。CameraX的ImageAnalysis.Analyzer回调中，先把相机帧转换为InputImage，调用ML Kit的FaceDetector获取人脸边界框，再对边界框区域裁剪缩放到48x48灰度图，最后交给TFLite解释器分类：
public class EmotionAnalyzer implements ImageAnalysis.Analyzer {
private final FaceDetector detector;
private final Interpreter tflite;
private static final String[] LABELS =
{"Angry", "Disgust", "Fear", "Happy", "Sad", "Surprise", "Neutral"};
public EmotionAnalyzer(Context ctx) throws IOException {
FaceDetectorOptions options = new FaceDetectorOptions.Builder()
.setPerformanceMode(FaceDetectorOptions.PERFORMANCE_MODE_FAST)
.build();
detector = FaceDetection.getClient(options);
// 从assets目录加载量化后的情绪分类模型
tflite = new Interpreter(loadModelFile(ctx, "emotion_model.tflite"));
}
@Override
public void analyze(@NonNull ImageProxy imageProxy) {
@Nullable Bitmap bitmap = toBitmap(imageProxy);
if (bitmap == null) { imageProxy.close(); return; }
InputImage input = InputImage.fromBitmap(bitmap, 0);
detector.process(input)
.addOnSuccessListener(faces -> {
if (!faces.isEmpty()) {
Rect box = faces.get(0).getBoundingBox();
Bitmap face = Bitmap.createBitmap(bitmap,
box.left, box.top, box.width(), box.height());
String emotion = classify(preprocess(face));
Log.d("Emotion", "当前情绪: " + emotion);
}
})
.addOnCompleteListener(t -> imageProxy.close());
}
// 将人脸图像转为48x48灰度浮点数组，并做归一化
private float[][][][] preprocess(Bitmap face) {
Bitmap scaled = Bitmap.createScaledBitmap(face, 48, 48, true);
float[][][][] input = new float[1][48][48][1];
int[] pixels = new int[48 * 48];
scaled.getPixels(pixels, 0, 48, 0, 0, 48, 48);
for (int i = 0; i < pixels.length; i++) {
int p = pixels[i];
int gray = ((p >> 16 & 0xFF) + (p >> 8 & 0xFF) + (p & 0xFF)) / 3;
input[0][i / 48][i % 48][0] = gray / 255f;
}
return input;
}
private String classify(float[][][][] input) {
float[][] output = new float[1][7];
tflite.run(input, output);
int maxIdx = 0;
for (int i = 1; i < 7; i++) {
if (output[0][i] > output[0][maxIdx]) maxIdx = i;
}
return LABELS[maxIdx];
}
}
这段代码中有几个细节值得展开。第一，图像预处理必须与训练时的预处理保持一致，如果训练时灰度值做了归一化，推理时也要做同样处理，否则精度会大幅下降。第二，FER2013的标签顺序是固定的，模型输出索引和标签数组的对应关系一定要与训练脚本一致。第三，边界框可能超出图像范围（人脸靠近画面边缘时），实际项目中要加边界保护，避免createBitmap抛出异常。第四，ImageProxy必须在处理完成后调用close()归还缓冲区，否则相机流会卡住。
关于模型训练部分，可以在PC端用Keras搭建一个简单的CNN，输入48x48x1的灰度图，经过三层卷积加池化，最后全连接输出7类softmax。训练完成后用TensorFlow Lite Converter转换，建议开启动态范围量化，能将模型体积压缩到原来的四分之一左右，推理速度也更快。一个典型的转换代码如下：
import tensorflow as tf
converter = tf.lite.TFLiteConverter.from_keras_model(model)
# 开启动态范围量化，压缩模型体积
converter.optimizations = [tf.lite.Optimize.DEFAULT]
tflite_model = converter.convert()
with open('emotion_model.tflite', 'wb') as f:
f.write(tflite_model)
四、开发中必须注意的坑与优化建议
第一是性能问题。实时视频流中每帧都跑检测加分类，在中低端机型上很容易掉帧。优化手段包括：限制检测频率（比如每200毫秒分析一次即可，情绪变化没那么快）、使用ML Kit的FAST模式、对分类模型做量化、以及在CameraX中设置较低的分辨率。也可以利用GPU代理（GPU Delegate）加速推理，但在部分设备的兼容性需要做好降级处理。
第二是识别精度问题。FER2013数据集本身标注质量参差不齐，训练出的模型在真实场景中准确率往往只有六成左右。提升的办法有：做数据增强（随机翻转、亮度扰动）、使用更大的数据集如AffectNet做迁移学习、以及引入时序信息，用连续多帧的预测结果做平滑投票，单帧误判的影响会明显降低。此外，人脸角度过大、光照过暗、戴口罩遮挡等情况都会严重影响准确率，产品层面要给出合理的降级提示。
第三是隐私与合规。人脸属于敏感个人信息，国内应用上架前需要通过隐私合规检测。建议做到：在隐私政策中明确说明人脸数据的用途，识别全程在本地完成不上传原始图像，及时销毁处理后的帧数据，并在应用内提供醒目的知情提示。Android 6.0以上需要运行时动态申请CAMERA权限，从Android 10开始还应注意android.permission.CAMERA与前台服务类型的声明规范。只要把技术实现和合规细节都处理到位，情绪识别就能成为一个既智能又安全的功能。
情绪识别Android人脸识别机器学习修改时间：2026-09-01 22:18:56