🕹️ 游戏控制脚本

← 返回首页

项目简介

该页面整理两个游戏控制相关脚本项目：hadouken-over-5g 负责把 5G CSI 动作分类结果映射为键盘控制；csi-to-skeleton 负责接收 5G 感知端输出的 COCO-17 骨架点，并通过姿态规则触发游戏连招。

hadouken-over-5g: https://github.com/Termin41/hadouken-over-5g

csi-to-skeleton: https://github.com/Termin41/csi-to-skeleton

hadouken-over-5g

receiver-mulRru.py

该脚本是多 RRU 实时推理入口，负责监听基站侧 UDP 端口，接收 CSI 数据包，解析 H 矩阵并进行相位处理和时间窗特征构造，再输入训练好的动作分类模型输出动作类别。

• 按 RRU ID 区分不同 RRU 数据，并等待 3 个 RRU 的 CSI 数据收齐。
• 解析 I/Q 数据，得到幅度、相位和相位差等特征。
• 使用训练好的 PyTorch 模型进行动作分类。
• 将分类编号通过 UDP 发送给控制端。

controled.py

该脚本接收推理端发来的动作类别编号，并根据配置中的动作到键盘映射触发键盘事件。动作既可以映射为单个按键，也可以映射为组合按键，用于游戏中的移动、出拳或组合技能。

• IDLE、L、PUNCH、R 等动作需要与模型类别顺序保持一致。
• 连续触发阈值可降低偶发误判对游戏控制的影响。
• Windows 端键盘控制依赖虚拟键码和 pywin32。

csi-to-skeleton

MiDiPose.py

MiDiPose.py 用于验证 5G 感知端发送的骨架关键点数据是否能够被正确接收，可作为骨架 UDP 数据链路的调试脚本。

main.py

main.py 是游戏控制主入口。它监听 5G 感知端发来的 UDP 骨架数据包，将 34 个 float32 坐标解析为 (17, 2) 的 COCO-17 单人二维骨架数组，并调用动作规则脚本完成键盘连招触发。

• 默认每个有效数据包为 136 字节，即 17 个关键点、每点 2 个坐标。
• 基于肩、肘、腕、髋、膝、踝等关键点判断气功波、旋风腿、升龙拳、移动和下蹲等动作。
• 通过动作冷却机制减少重复触发和输入堆积。

姿态估计转游戏控制

左侧为 5G 信号估计得到的人体姿态，右侧为游戏中的实时动作反馈。系统将感知结果转换为键盘输入，从而实现体感控制游戏角色。