姿态识别 | Terminal

项目背景

随着移动通信技术以及人工智能技术的发展，利用无线信号进行人体动作感知也取得显著进展。无线信号具有无接触、高安全以及对光照条件无依赖等特性，使其在室内人体姿势识别领域备受关注，可广泛应用于智能家居与智慧康养、人机交互与沉浸式娱乐、安防与行为分析等场景。

现基于商用 5G 基站与智能终端，构建 5G 通感一体化人体姿态感知系统。系统利用无线信道状态信息 CSI，并结合 RGB 数据建立跨模态监督机制，实现从无线信号到人体 2D 姿态的回归预测。

在姿态识别的基础上我们开发出了更上层的应用，利用姿态识别的结果进行游戏的控制。

我们通过5G信号实现了人体姿态估计，利用17个关键节点进行人体姿态重构，能够实现连续的人体活动感知。

该系统框架旨在通过提取无线信道状态信息CSI中的多维物理特征，并结合深度学习模型进行跨域融合，从而实现高精度的无接触式人体姿态识别。系统框架主要由数据采集、多特征域提取和多特征融合模型架构三个核心模块组成。

基于自定义的 MiDiPose 网络结构，整个前向传播过程可以解构为三大核心模块：

为幅度、相位、多普勒等异构特征配置专属的轻量级 MLP 网络。

通过多头注意力机制捕获跨域依赖。将 CSI的1D 隐层特征重构为伪图像格式。之后进行深度空间特征提取—引入修改后的ResNet34 作为 Backbone，提取高阶非线性特征。

降维降采样，直接输出 17 个关键点的 2D 坐标。

对比视觉方案的结果：最终我们的5G-based 姿态估计系统的准确度几乎达到了当今基于视觉方案的性能，撰写并发表了我们的论文。