JPosture

Home | Projekte | Über mich | Kontakt

ARGait

Ein Augmented-Reality-System, das den Nutzern eine Echtzeit-Visualisierung der Fußkinematik im dreidimensionalen Raum bietet.

Es ermöglicht dem Nutzer, seine Füße während der Bewegung ständig zu sehen und eliminiert so die Notwendigkeit externer visueller Hilfsmittel wie Spiegel. Dadurch kann der Nutzer die Fußplatzierung bei jedem Schritt selbstständig und unmittelbar korrigieren.

Funktionsweise

Das System nutzt die Kamera des Smartphones, um kontinuierlich Echtzeitvideos der Umgebung aufzunehmen. Dieser Live-Video-Stream wird als primäre visuelle Ebene auf dem Display des Telefons dargestellt. Überlagert werden dynamisch generierte grafische Darstellungen der Füße des Nutzers.

Diese virtuellen Fußmodelle werden mit der physischen Position der Füße des Nutzers ausgerichtet, indem folgende Sensoren verwendet werden:

TOF-Sensor zur Bestimmung des Abstands des Fußes vom Boden (VL53L1X)
Gyroskop und Beschleunigungsmesser zur Messung des Fußwinkels (BNO055)
Magnetometer zur Bestimmung der magnetischen Ausrichtung des gesamten Fußes

Zusätzlich befinden sich in den Sohlen jedes Fußes vier Drucksensoren. Die Daten dieser Sensoren werden verwendet, wenn beide Füße den Boden berühren. In diesem Fall dienen sie dem Training der Gewichtsverlagerung.

Jeder Fuß verfügt über einen eigenen i2C-Bus zu einem Teensy 4.1 Mikrocontroller. Der Teensy ist am Rücken des Gürtels befestigt und über seinen USB-Anschluss mit einem Android-Telefon im Headset verbunden.

Die Grafiken werden mit der Unity Engine erstellt.

Interface

Das grafische System verfügt über zwei Modi, die je nach Aktivität des Nutzers automatisch aktiviert werden: 1) Bewegungsmodus 2) Stehmodus.

1) Bewegungsmodus

Wenn ein Fuß den Boden verlässt, sieht der Nutzer die grafische Darstellung jedes Fußes in Bewegung im 3D-Raum.

Ein dynamisches Balkendiagramm am oberen Rand der Benutzeroberfläche zeigt die Dauer der Schwungphase jedes Fußes in Millisekunden an.

Hinweis: Zur besseren Übersicht wurde die Kamerasicht in diesen Grafiken entfernt.

Hinweis: Zur besseren Übersicht wurde die Kamerasicht aus diesen Grafiken entfernt – aber nicht aus dem Video unten.

2) Stehmodus

Wenn beidseitiger Fußkontakt länger als 15 Sekunden aufrechterhalten wird, wechselt das System in den Stehmodus. In diesem Modus aktualisiert die grafische Benutzeroberfläche die Anzeige beider Füße und ermöglicht einen direkten Vergleich der beidseitigen Gewichtsverlagerung.

Das System führt eine Echtzeitanalyse durch, indem es die Druckdaten entsprechender Sensorgruppen vergleicht:

Vorfußvergleich: Die Druckwerte der vorderen Sensoren jedes Fußes werden miteinander verglichen.
Fersenvergleich: Die Druckwerte der hinteren Sensoren werden ebenfalls verglichen.

Dieser Modus bietet eine symmetrische Bewertung der plantaren Lastverteilung zwischen dem linken und rechten Fuß.

Fazit und Überlegungen

Langfristiges Potenzial: 10/10

Einschränkungen

• Probleme mit Android-Zugriffsrechten sowohl über Bluetooth als auch USB. (Ich kriege das einfach nicht hin)
• Schwierigkeiten mit dem BNO055, der regelmäßig neu kalibriert werden muss. (Der Sensor ist bekannt dafür, unzuverlässig zu sein)

Nächste Schritte

• Ich würde sehr gerne mit jemandem an den Hardware-Problemen zusammenarbeiten – ich zerbreche mir schon viel zu lange den Kopf darüber!
• Die kreativen Möglichkeiten mit virtuellen Trainingsherausforderungen sind endlos.
• In der Zwischenzeit habe ich angefangen, TinyML und TensorFlow zu lernen. Es wird großartig sein, KI in die Benutzeroberfläche zu integrieren, um dem Nutzer in Echtzeit verbale Erklärungen zu geben, damit er jeden Schritt eines Gangs verstehen und korrigieren kann.