Un système de caméras dans le cockpit surveille le regard des pilotes et suit les gestes de la main

De nos jours, un cockpit d’avion commercial typique comporte plusieurs grands écrans d’ordinateur, de nombreux cadrans secondaires et des centaines d’interrupteurs. Bien que ces conceptions fonctionnent correctement, le degré d’automatisation des cockpits augmentant, il est crucial d’optimiser l’interaction humain-ordinateur pour améliorer l’efficacité des pilotes et la sécurité des vols.

Le projet PEGGASUS, financé par l’UE, a mis au point un nouveau système d’interface homme-machine qui répond aux défis uniques de l’environnement aéronautique. Il a développé un système de caméra monté sur le tableau de bord qui suit la direction du regard des pilotes tout en reconnaissant les gestes de leurs mains. L’objectif du système est de fournir un retour d’information fluide aux pilotes, afin de réduire leur charge de travail et d’améliorer leur compréhension de la situation lorsqu’ils effectuent plusieurs actions.

Suivre le regard

Le système comporte plusieurs caméras qui font face au pilote. Le système multi-caméras fonctionne dans la gamme de l’infrarouge proche, ce qui est indispensable en raison des variations extrêmes de l’intensité lumineuse dans les cockpits, qui sont parfois extrêmement lumineux et parfois très sombres. Les caméras sont couplées à une Edge IA de pointe permettant de déterminer en temps réel où les pilotes regardent.

«Nous avons mis au point un pipeline algorithmique, combinant des approches analytiques et axées sur les données, pour détecter avec précision le regard en temps réel et avec un temps de latence minimal», explique Sareh Saeedi, cheffe de projet à la société hôte de PEGGASUS, le Centre suisse d’électronique et de microtechnique (CSEM).

Ils ont utilisé des techniques de vision par ordinateur et d’apprentissage automatique à la pointe de la technologie. «Tout d’abord, le visage du pilote est détecté sur les images. Ensuite, plusieurs points de repère sur le visage et autour des yeux sont localisés, suivis par la détection de la pupille et l’estimation du centre de la courbure de la cornée», explique Sareh Saeedi.

Le résultat est un système de vision multi-caméras, capable de fonctionner en temps réel à 60 images par seconde avec une latence de 32 ms, qui atteint une précision supérieure à 1 ° pour la détection du regard.

Reconnaissance des gestes

Le système suit également cinq gestes prédéfinis de la main. Pour ce faire, les chercheurs ont développé un modèle de réseau neuronal profond, qui a été incorporé au système afin de fournir une nouvelle modalité d’interaction.

Le système PEGGASUS a été installé dans un simulateur de cockpit au Lufthansa Aviation Training en Suisse, où 10 pilotes professionnels l’ont évalué. «Nous avons recueilli des réactions très positives de la part des pilotes», ajoute Gilad Scherpf, responsable du développement de la formation aéronautique du groupe Lufthansa. «Dans l’ensemble, ils ont jugé le système de vision PEGGASUS meilleur que les systèmes de suivi des yeux montés sur la tête, en termes de confort et grâce à son faible facteur de distraction.»

Les tests ont également montré que la confirmation par reconnaissance gestuelle des messages vocaux du contrôle du trafic aérien fonctionnait parfaitement lorsque les pilotes étaient engagés dans des scénarios simulés d’évitement de collisions. Cela souligne le potentiel que représente l’adoption de tels systèmes dans les cockpits de demain.

La collaboration au service du succès

Une collaboration très productive a permis d’élaborer une solution sur mesure. Le CSEM a développé les algorithmes du système de vision, tandis que SERMA Ingénierie était chargée d’adapter le matériel du système et de l’intégrer dans un démonstrateur de cockpit. ETH Zurich a conçu et réalisé les études avec les pilotes et Swiss International Airlines a soutenu le consortium en apportant son savoir-faire concernant les cas d’utilisation.

Le système n’est pas destiné à redessiner radicalement les cockpits. Cependant, la combinaison de la reconnaissance gestuelle et du suivi oculaire devrait aider les pilotes à se concentrer sur leurs tâches les plus importantes, à minimiser les distractions et à améliorer la sécurité des vols.

Source : Pilot Eye Gaze and Gesture tracking for Avionics Systems using Unobtrusive Solutions - résultats de la recherche de l'UE.