姿态识别 | Terminal

项目背景

基于商用5G基站与智能终端，构建5G通感一体化人体姿态感知系统。系统利用无线信道状态信息CSI，并结合RGB数据建立跨模态监督机制，实现从无线信号到人体2D姿态的回归预测。

负责原型系统中无线感知系统的设计与实现，完成多节点协同CSI采集流程搭建；设计并实现跨模态融合网络 MfDfHPR，完成核心网络迭代与训练流程落地。

            关键成果
            系统实现实时无线人体姿态估计与互动展示，精度显著优于基线模型
完成商业级部署，在上海正大广场索尼哥伦比亚百年电影展连续展示5个月
累计接待游客 550+

        

在姿态识别的基础上我们开发出了更上层的应用，利用姿态识别的结果进行游戏的控制。

我们通过5G信号实现了人体姿态估计，利用17个关键节点进行人体姿态重构，能够实现连续的人体活动感知。

该系统框架旨在通过提取无线信道状态信息CSI中的多维物理特征，并结合深度学习模型进行跨域融合，从而实现高精度的无接触式人体姿态识别。系统框架主要由数据采集、多特征域提取和多特征融合模型架构三个核心模块组成。

基于自定义的 Sony_PoseNet_diverse_features 网络结构，整个前向传播过程可以解构为三大核心模块：

为幅度、相位、多普勒等异构特征配置专属的轻量级 MLP 网络。

通过多头注意力机制捕获跨域依赖。将 CSI的1D 隐层特征重构为伪图像格式。之后进行深度空间特征提取—引入修改后的ResNet34 作为 Backbone，提取高阶非线性特征。

降维降采样，直接输出 17 个关键点的 2D 坐标。

对比视觉方案的结果：最终我们的5G-based 姿态估计系统的准确度几乎达到了当今基于视觉方案的性能，撰写并发表了我们的论文。