JPosture

Accueil | Projects | À propos de moi | Contact

ARGait

Un système de réalité augmentée qui offre aux utilisateurs une visualisation en temps réel de la cinématique des pieds dans l’espace tridimensionnel.

Il permet à l’utilisateur de « voir ses pieds » en permanence pendant ses déplacements, éliminant ainsi le besoin d’aides visuelles externes telles que des miroirs. Cela permet une modification immédiate et autonome du placement des pieds à chaque pas.

Fonctionnement

Le système utilise la caméra du smartphone pour capturer en continu une vidéo en temps réel de l’environnement. Ce flux vidéo en direct est affiché sur l’écran du téléphone comme couche visuelle principale. Des représentations graphiques dynamiques des pieds de l’utilisateur sont superposées à cette vidéo.

Ces modèles virtuels des pieds sont alignés avec la position physique des pieds de l’utilisateur à l’aide de :

Un capteur TOF pour déterminer la distance du pied par rapport au sol (VL53L1X)
Des données de gyroscope et d’accéléromètre pour mesurer l’angle du pied (BNO055)
Un magnétomètre pour déterminer la direction magnétique globale du pied

Il y a également 4 capteurs de pression dans la semelle de chaque pied. Les données de ces capteurs sont utilisées lorsque les deux pieds sont au sol, notamment pour l’entraînement au port de poids.

Chaque pied dispose de son propre bus I2C dédié connecté à un microcontrôleur Teensy 4.1. Le Teensy est fixé à l’arrière de la ceinture et connecté via son port USB à un téléphone Android situé dans le casque.

Les graphismes sont réalisés avec Unity Engine.

Interface

Le système graphique dispose de deux modes qui s’activent automatiquement en fonction de l’activité de l’utilisateur :

1) Mode en mouvement : Lorsque l’un des pieds est en l’air, l’utilisateur voit une représentation graphique de chaque pied se déplaçant dans l’espace 3D.

Un graphique en barres dynamique, situé en haut de l’interface, indique la durée de la phase de balancement de chaque pied en millisecondes.

2) Mode stationnaire : Lorsque les deux pieds restent en contact avec le sol pendant plus de 15 secondes, le système passe en mode stationnaire. Dans ce mode, l’interface graphique à l’écran affiche les deux pieds, permettant une comparaison directe du port de poids bilatéral.

Remarque : Pour plus de clarté, la vue de la caméra a été supprimée de ces graphiques, mais elle est présente dans la vidéo ci-dessous.

Le système effectue une analyse en temps réel en comparant les données de pression des groupes de capteurs correspondants :

Comparaison de l’avant-pied : Les valeurs de pression des capteurs antérieurs de chaque pied sont évaluées l’une par rapport à l’autre.

Comparaison du talon : Les valeurs de pression des capteurs postérieurs sont également comparées de manière similaire.

Ce mode fournit une évaluation symétrique de la répartition de la charge plantaire entre le pied gauche et le pied droit.

Conclusion et considérations

Potentiel à long terme 10/10

Limites

• Problèmes d’autorisations d’accès Android avec le Bluetooth et l’USB. (Je n’arrive pas à les résoudre)
• Problèmes avec le BNO055 qui nécessite un recalibrage fréquent. (Ce capteur est notoirement instable)

Étapes à venir

• J’aimerais vraiment collaborer avec quelqu’un sur les problèmes matériels, car cela fait assez longtemps que je m’arrache les cheveux dessus !
• Les possibilités créatives sont infinies avec des défis d’entraînement virtuels, etc.
• En attendant, j’ai commencé à apprendre TinyML et TensorFlow. Ce sera génial d’intégrer l’IA dans l’interface pour fournir des explications verbales en temps réel, afin d’aider l’utilisateur à comprendre et corriger chaque étape d’une foulée.