Hackaday.io上可穿戴设备的项目-动手|人机界面手套

脑图

项目简介：Hands | On是一款智能手套，可让您使用手势与任何物体进行互动！

项目网址

图片

描述

https://youtu.be/7kXrZtdo39k?t=8 Hands | On手套可捕捉佩戴者的手和手指的动作。使用手套上的各种传感器收集数据并将其发送到微控制器，该微控制器对数据进行处理以提供手的实时状态。开发人员可以使用有关手的信息来编写各种应用程序。例如，它可以用于： -使用ML模型翻译手语。观看上面的youtube视频！ -用手自然玩视频游戏和虚拟现实。 -用手操作3D CAD模型。 -控制机器人。 -进行远程手术。 -将手用作MIDI并制作音乐。 -将手用作计算机鼠标。 -通过在任意表面上“滑动”将其用作计算机键盘。可能性是无止境！有创意的开发人员负责编写出色的应用程序

细节

世界上几乎所有会说话的人都不懂手语。它在聋哑社区和世界其他地方之间形成了巨大的障碍。这降低了日常沟通和跨越障碍传递机会的可能性。如今，对于一个聋哑人来说，在这个世界上找到工作或做生意，他们的公司需要为他们聘请翻译。许多公司更愿意雇用会讲英语的员工，以便避免口译员的费用。该项目旨在认真解决手语翻译的技术问题，以便我们能够消除聋哑社区与世界其他地区之间的沟通障碍。仔细考虑了这些要求，以确保该手套的易用性和适用性，以便聋哑社区的人们可以与世界其他地方互动并在上面打上烙印！

硬件

Hand | On上的硬件应该能够轻巧便携地感知并收集有关手部动作的所有必要数据。考虑到这些需求，硬件的设计如下：

传感器：

弯曲传感器：这些rad传感器（从Nintendo PowerGlove时代起）是薄膜状材料的细条，其电阻随着弯曲而变化。我们使用其中9个来测量重要手指关节的弯曲度。

9自由度IMU：测量手在空间中的方向。

电容式触摸传感器：奇特的名称，用于将铜带粘贴在电线上。触摸铜带时，其电容会发生变化，从而在微控制器上产生可测量的响应。

数据处理：

Teensy微控制器：Teensy是一款非常轻巧的小型微控制器，具有Arduino的强大功能。最好的部分是它有20个模拟输入！这就是我们需要将所有挠性传感器插入的东西。同样，许多输入很容易配置为“触摸”输入，因此在代码中设置电容式触摸传感器太容易了：)

HC-06蓝牙模块：没有人希望整天通过USB电缆连接到计算机。除非您对此感兴趣。蓝牙会将数据发送到PC，并使设备具有便携性。

可充电电池。

软件

Hands | On的软件应能高度准确地翻译标志，并允许用户用自己的手势来训练机器。它还应该非常快速地捕获和处理数据，并具有直观的界面。下面是软件设计：

串行通信：经过最少的处理后，Teensy上的Arduino代码将传感器数据通过串行端口（虚拟COM端口）传输到计算机。使用Python中的PySerial库获取数据。

实时3D手势渲染：经过解析和处理的传感器数据用于在屏幕上显示用户手部的实时3D动画。这是使用PyOpenGL完成的。动画手的方向发生变化，手指与用户的手同步弯曲！

机器学习：通过将传感器数据保存到文件中来捕获手势和手势。使用SVM算法执行机器学习。用于机器学习的API是出色的Scikit学习库。

文本到语音：机器学习算法输出的字母被发送到文本到语音引擎（Pyttsx），以便您可以听到正在签名的内容！

Qt界面：因为Qt光滑且极具跨平台性（https://doc.qt.io/qt-5/supported-platforms.html），所以使用PyQt5设计了GUI。 Qt Creator使用起来非常直观，可以快速启动并运行我们的GUI。

图纸

1.柔性传感器连接示意图

文档

CapstoneFinalReport.2-22.pdf

我们为大学最后一年的工程项目提交此报告时的报告。在（相对）较短的页面中包含我们项目各个方面的出色细节和图像！

Adobe可移植文档格式

Teensy Pinout 1.png

Teensy 3.2微控制器（FRONT）的引脚排列图

便携式网络图形（PNG）

Teensy Pinout 2.png

Teensy 3.2微控制器的引脚排列图（返回）

便携式网络图形（PNG）

组件

Teensy 3.2微控制器

与Arduino代码兼容的小型微控制器。它有大量的GPIO引脚！

Adafruit BNO055 9自由度IMU

一个IMU，其中包含用于处理加速度计和陀螺仪数据的硬件。提供高度精确的角度位置，但绝对位置有很大的漂移（如预期）。通过I2C进行通信。

2.2英寸柔性传感器

柔性带状传感器，其电阻是弯曲程度的函数。用于检测每个手指关节的弯曲。

铜带（触摸传感器）

当有人触摸时，铜带可作为触摸传感器，因为电容的变化可测量。

紧身手套

可以在手周围弯曲并在手指关节周围完美弯曲的手套。皮肤紧缩对于精确的屈曲测量是必要的。

强力双面胶带

将弯曲传感器粘贴到手套上的正确位置。

一半尺寸的原型板

25引脚x 15引脚原型板，所有电子设备均焊接在其上。任何适合手背的大小并具有足够的销钉的尺寸都不错。

项目日志

新手套，新电容传感器和Windows兼容！

一日三大更新！我终于再次忙于该项目，因为我报名参加了明天在安大略省布兰普顿举行的一次技术博览会活动。永远不要低估最后期限对推进项目的影响！首先，我从破旧的旧手套上取走了所有东西。然后，我将现有的电线拆焊到“电容式触摸传感器”（铜带）上，并去除了电线和传感器。电线太硬，铜传感器被打坏。我用新的新的铜带和新的绞合线代替了普通的硬单芯线来代替它们。这是因为绞合线的柔韧性要高得多，从而导致铜带从导线上剥落的机会更少/没有机会：

柔性绞线为蓝色，旧的硬线为红色