介绍:
FOXTracker是一个结合了人脸6D Pose(6自由度,包括XYZ和姿态)识别(GitHub地址:https://github.com/yinguobing/head-pose-estimation 基于TensorFlow),端对端的网络FSANet(https://github.com/shamangary/FSA-Net ) 转化为了onnx模型,并且嵌入了FSANet,混合了FSANet和PnP进行测量以及AITrack(https://github.com/AIRLegend/aitrack ) 和特征点的提取模型软件OpenSeeFace(https://github.com/emilianavt/OpenSeeFace ) 的面部识别头瞄,可用于模拟类游戏。和需额外购买的外设TrackIR或者AimxyZ功能类似,但升级后的FOXTracker只需要摄像头。
准备:
首先你需要准备的:
- 一个正常的web摄像头或笔记本内置摄像头(或者强烈推荐索尼的PS3 Eye摄像头并且使用广角模式)
- 安装合适的驱动使得可以使⽤60fps/75fps(分辨率⼤于640x480即可使用)(对于推荐的索尼PS3 Eye摄像头,目前驱动程序已经内置,但仍需安装开源驱动PS3EyeDirectShow以确保摄像头可以被正确识别)
- 需要的软件:FOXTracker(GitHub地址:https://github.com/xuhao1/FOXTracker ) (软件目前已知BUG:解压缩时请务必不要使用中文路径,否则会无法运行)
- 需要的软件:OpenTrack(GitHub地址:https://github.com/opentrack/opentrack )
FOXtracker使用介绍(欧卡玩家可跳过依照下一个title 使用调参 来设置自己的参数):
注:首先此程序新升级还未成熟,可能存在未知程序逻辑问题,慎用于高强度竞技类模拟。作者永远不会从你的摄像头里收集任何用户数据
FOXTracker主界面
右侧Config中的参数介绍:
- IP及Port:是否发生UDP和对应的IP地址以及端口
- Detect Duration:重识别的间隔,如果CPU富裕可以适度开小,最小为1,反之如果占用过大可以适度增加。对精准度有一定的影响。
- Accuracy:Landmark方法使用的模型。坐标速度快精确度低,坐标速度慢精确度高。
- Camera/AUTO EXPO:是否开启自动曝光
- Camera/EXPO,GAIN:手动曝光和增益调节,越右边越明亮。注意过大的增益可能会导致过量噪点,影响数据稳定。在自动曝光不适当的情况下请酌情调节。
使用调参:
对于FOXtracker:
- 运行FOXtracker后点击右侧Config进入设置参数界面,取消勾选Directly Control Game以此配合OpenTrack的使用
- 对于欧卡的使用可以将Accuracy拖动至4来实现更高精确度的视野
- 结合自带摄像头功能设置Camera中FPS的数值(60为推荐数值)(1~3序号参数调整见下图)
- 点击参数设置界面左上方第二个选项Filter,取消勾选Double Accela Filter以此配合OpenTrack的使用
- 在同一界面调高Rotation中的Smoothing参数为0.2304(推荐数值可按个人舒适度自行调整)(4~5序号参数调整见下图)
- 最后点击OK保存参数设置
对于OpenTrack:
- 运行OpenTrack后按照图示修改输入,输出和过滤器设置(见下图)
- 点击右侧设置进入界面在快捷键界面按照自己的喜好设置“回中位置“按键绑定(也可像我不绑定)
- 点击设置中的输出界面按照图示修改映射参数(见下图)(注:Z坐标为根据面部动作修改与卡车仪表台的距离,面部前倾为凑近后退则反之。如果不喜欢此功能可以选择不启用)
- 点击OK保存参数设置
- 返回主界面点击进入映射界面(见下图)
- 在映射属性界面设置航向参数调整(下图仅为个人的调整曲线建议,具体需要按照自己电脑屏幕的大小以及头部偏转习惯进行细调)
- 在映射属性界面设置俯仰参数调整(下图仅为个人的调整曲线建议,具体需要按照自己电脑屏幕的大小以及头部偏转习惯进行细调)
- 最后点击OK保存参数设置
开始使用:
第一次使用进行参数校准及适配:
先运行FOXtracker,在看到自己头像以及面部模型确认后最小化窗口,接着运行OpenTrack,点击开始按钮随后转动头部确认画面中的小章鱼是否也随面部转动而做出相应反应。一切顺利即可开始自己的模拟游戏。
在进行第一次的参数校准及设配后进入游戏步骤:
- 运行FOXtracker
- 看到自己头像以及面部模型后最小化窗口
- 运行OpenTrack
- 点击开始按钮后最小化窗口
- 运行游戏
结语:
That’ s ALL !
希望此次程序的升级可以造福越来越多爱好模拟类游戏的玩家,更好的体验来自游戏带给大家的第九艺术。有幸跟随这款软件的升级开发中的大佬对我来说也是乐趣本身,认识了不少朋友,模飞圈的朋友,欧卡的朋友以及GitHub上的朋友,在自己喜欢感兴趣的地方贡献出自己的微薄专业知识也同样是一件有趣的事情。如果大家有如何疑问或者适配出错问题也可在下方评论一起探讨!
教程制作不易,如果有幸节省了大家购买头瞄设备的开销何不在下方”赏“图标中为我赞许一杯咖啡
Q.E.D.