Air-CobotAir-Cobot
Air-Cobot, Aircraft enhanced Inspection by smaRt & Collaborative rOBOT, est un projet français de recherche et développement d'un robot mobile collaboratif capable d'inspecter un avion durant les opérations de maintenance. Porté par le groupe Akka Technologies, ce projet multi-partenaires fait intervenir des laboratoires de recherche et des industriels. La recherche autour de ce prototype a été développée selon trois axes : la navigation autonome, le contrôle non destructif et la collaboration homme-machine. Air-Cobot est présenté comme le premier robot roulant d'inspection visuelle des avions. Des robots d'inspection utilisant d'autres types de capteurs ont été envisagés avant, comme celui du projet européen Robair. Depuis le lancement du projet, d'autres solutions basées sur la vision commencent à se développer comme le drone de la compagnie aérienne Britannique EasyJet ou l'essaim de drones de la startup toulousaine Donecle ou encore le projet Aircam du constructeur aéronautique Airbus. Dès ses débuts en 2013, le robot Air-Cobot est prévu pour inspecter les parties basses de l'appareil. Dans la suite du projet, il est envisagé un couplage avec un drone pour inspecter les parties hautes. En octobre 2016, Airbus Group annonce le démarrage de son programme de recherche sur le hangar du futur à Singapour. Les robots des projets Air-Cobot et Aircam sont inclus dedans pour analyser l'état des avions. Description du projetObjectif
Lancé en janvier 2013[2], ce projet fait partie du programme fonds unique interministériel du pôle de compétitivité Aerospace Valley[3]. Doté d'un montant de plus d'un million d'euros[4], Air-Cobot a pour objectif de développer un robot mobile collaboratif innovant, autonome dans ses déplacements et capable de réaliser l’inspection d'un avion avec des capteurs de contrôle non destructif avant le décollage ou lors des phases de maintenance en hangar[3],[5]. Les essais sont effectués dans les locaux d'Airbus et d'Air France Industries[6]. PartenairesLe porteur du projet est Akka Technologies. Les partenaires du projet sont diversifiés avec deux partenaires académiques, deux industriels et trois petites et moyennes entreprises[7]. Partenaires académiques
Partenaires industriels
Petites et moyennes entreprises
FinanceursLes financeurs du projet sont la banque publique d'investissement, le conseil régional d'Aquitaine, le conseil départemental des Pyrénées-Atlantiques, le conseil régional Midi-Pyrénées et par l'union européenne[13]. Impacts attendusDe manière régulière, les avions sont inspectés lors d'opérations de maintenance que ce soit sur l'aéroport entre deux vols ou dans un hangar pour des inspections plus poussées. Ces inspections sont réalisées par des opérateurs humains principalement de manière visuelle et parfois à l'aide d'outils pour évaluer les défauts[A 1]. Le projet a pour but d'améliorer les inspections des avions et leur traçabilité. Une base de données destinée à chaque appareil, contenant les images et les scans tridimensionnels, pourra être mise à jour après chaque opération de maintenance. Cela doit permettre par exemple de contrôler l'évolution d'une fissure[5],[14],[15]. Les yeux des opérateurs humains fatiguent au cours du temps tandis qu'une solution automatique assure une fiabilité et une répétabilité des inspections. La diminution des périodes d'inspections est un objectif majeur pour les avionneurs et les compagnies aériennes. Si les opérations de maintenance sont plus rapides, cela permettra également d'optimiser la disponibilité des aéronefs et les coûts d'exploitation de maintenance. Le tout doit améliorer la sécurité du transport aérien[5],[14],[15]. Équipement du robotTout l'équipement électronique est transporté par la plateforme mobile 4MOB de la société Sterela. Cette plateforme tout terrain, équipée de quatre roues motrices, peut se déplacer à une vitesse de 2 mètres par seconde (7,2 kilomètres par heure). Ses batteries au lithium-ion permettent une autonomie de huit heures. Deux bumpers sont situés à l'avant et à l'arrière. Ces systèmes de sécurité sont des pare-chocs de détection d'obstacle, ils arrêtent la plateforme s'ils sont comprimés[12]. Le cobot pèse en tout 230 kilogrammes. Il possède deux ordinateurs, l'un sous Linux pour le module de navigation autonome et l'autre sous Windows pour le module de contrôle non destructif. Le robot est équipé de plusieurs capteurs. La caméra pan tilt zoom fabriquée par Axis Communications et le scanner tridimensionnel de type Eva fabriqué par Artec 3D sont destinés à l'inspection. Les capteurs destinés à la navigation sont une centrale inertielle, deux bancs stéréo, chacun équipé avec deux caméras PointGrey, deux capteurs à balayage laser de type Hokuyo et un boîtier GPS. Ce dernier appareil développé par M3 Systems permet de faire du géorepérage en environnement extérieur[4],[8]. Navigation autonomeLa navigation autonome du robot Air-Cobot est en deux phases. La première, navigation dans l'aéroport ou l'usine, permet d'amener le robot à proximité de l'aéronef à inspecter. La seconde, navigation autour de l'avion, permet au robot de se positionner à des points de contrôle référencés dans le repère avion. De plus, le robot doit s'insérer dans un environnement dynamique où des êtres humains et véhicules évoluent. Pour répondre à cette problématique, il est doté d'un module d'évitement d'obstacles. De nombreux algorithmes de navigation s'exécutent en permanence sur le robot avec des contraintes de temps réel. Des recherches sont donc menés sur l'optimisation du temps de calcul. Navigation dans l'aéroport ou l'usineEn environnement extérieur, le robot est capable de se rendre sur le site d'inspection en se localisant grâce aux données Global Positioning System (GPS). Le boitier GPS développé par M3 Systems permet de faire du géorepérage. Sur l'aéroport, le robot évolue dans des couloirs de navigation dédiés en respectant les limitations de vitesse. Des alertes sont envoyées à l'opérateur si le robot pénètre dans une zone interdite ou dépasse une certaine vitesse[11],[A 2]. Un autre algorithme basé sur la vision par ordinateur fournit, en temps réel, une détection de marquage de voie. Lorsqu'ils sont visibles, ses marquages peints au sol peuvent fournir des données complémentaires au système de positionnement pour avoir des trajectoires plus sûres[A 3]. Que ce soit en environnement intérieur ou en environnement extérieur lorsque les informations GPS ne sont pas disponibles, le cobot peut être en mode suivi de personne pour évoluer derrière son opérateur humain et le suivre jusqu'à l'avion à ausculter[16],[A 2]. Navigation autour de l'avionLe robot doit naviguer autour de l'appareil et se rendre à des points de contrôle, localisés par rapport à l'avion, pour effectuer son inspection. La position de l'aéronef n'étant pas connue de manière assez précise dans l'aéroport ou l'usine, le cobot a besoin de détecter l'avion afin de connaître sa pose (sa position et son orientation) par rapport à l'aéronef. Pour ce faire, le robot est capable de se localiser soit avec les données lasers[A 4], soit avec les données des caméras[A 1],[A 5]. À proximité de l'avion, un nuage de points en trois dimensions est acquis en faisant évoluer l'orientation des capteurs à balayage laser fixés sur les platines. Après filtrage des données pour supprimer le sol ou les regroupements de points trop petits, une technique de recalage avec le modèle de l'avion est employée pour estimer la pose statique du robot. Ce dernier se déplace et maintient cette pose en tenant compte de l'odométrie des roues, la centrale inertielle et l'odométrie visuelle[A 4].
Les données lasers sont également employées horizontalement en deux dimensions. Un algorithme fournit une estimation de pose en temps réel du robot lorsqu'assez d'éléments parmi les trains d'atterrissage et les réacteurs sont visibles. Un indice de confiance est calculé en fonction du nombre d'éléments perçus par les lasers. En présence d'une bonne confiance, la pose est mise à jour avec cette localisation. Cette modalité est particulièrement intéressante lorsque le robot évolue sous l'appareil[A 4]. Pour la localisation basée vision, le robot estime sa pose par rapport à des éléments visuel de l'avion (trappes, hublots, pneus, static ports...). Au cours de l'évolution du robot, ces éléments visuels sont extraits du modèle tridimensionnel de l'appareil et projetés dans le plan image des caméras. Les formes projetées servent pour de la reconnaissance de forme afin de détecter les amers visuels[A 5]. L'autre détection employée est basée sur l'extraction de caractéristiques avec une approche Speeded Up Robust Features (SURF). Un appariement est effectué entre des images de chaque élément à détecter et la scène[A 1]. Grâce à la détection et le suivi des amers visuels, en plus d'estimer sa pose par rapport à l'avion, le robot peut effectuer un asservissement visuel[A 6]. Des recherches en vision sont également menées sur la cartographie et la localisation simultanées. Cette technique est connue en anglais sous l'acronyme SLAM (Simultaneous Localization And Mapping)[A 7]. Des fusions d'information entre les deux modalités d'acquisition laser et vision sont envisagées. Une intelligence artificielle arbitrant les différentes localisations est également à l'étude[A 1],[A 4]. Évitement d'obstaclesDans les deux modes de navigation, Air-Cobot est également capable de détecter, suivre, identifier et éviter les obstacles qui sont sur son chemin. Les données laser en provenance des Hokuyos et les données visuelles en provenance des caméras peuvent servir à la détection, au suivi et à l'identification. La détection et le suivi sont plus aisés dans la nappe laser bidimensionnelle. Tandis que l'identification est plus facile dans les images en provenance des caméras. Les deux modalités sont donc complémentaires. De plus l'information en provenance des lasers peut être utilisée pour délimiter des zones de travail dans l'image[A 6],[A 8],[A 9]. Le robot a plusieurs possibilités de réponse face aux obstacles. Ces réponses vont dépendre de son environnement (couloir de navigation, zone de tarmac dégagée, environnement intérieur encombré...) au moment de la rencontre. Il peut s'arrêter et attendre que la voie se dégage, ou éviter un obstacle en employant une technique basée sur les spirales, ou effectuer une planification de trajectoire[A 6],[A 9]. Optimisation du temps de calculÉtant donné le nombre d'algorithmes de navigation calculant en même temps pour fournir toute l'information en temps réel, des recherches ont été menées pour améliorer le temps de calcul de certaines méthodes numériques en employant des circuits logiques programmables[A 10],[A 11],[A 12]. Les recherches ont porté sur la perception visuelle. Une première partie s'est centrée sur la cartographie et localisation simultanées avec un filtre de Kalman étendu qui estime les états d'un système dynamique à partir d'une série de mesures incomplètes ou bruitées[A 10],[A 12]. La seconde s'est focalisée sur la localisation et la détection d'obstacles[A 11]. Contrôle non destructifAnalyse d'imageAprès s'être positionné pour effectuer une inspection visuelle, le robot effectue une acquisition avec la caméra pan tilt zoom. Elle se déroule en plusieurs étapes : pointage de la caméra, détection de l'élément à inspecter, re pointage si besoin et zoom de la caméra, acquisition de l'image et inspection. L'analyse d'image est employée sur des trappes pour déterminer si elles sont ouvertes ou fermées, sur la présence ou l'absence de protection pour certains équipements, l'état des pales d'un turboréacteur ou l'usure des pneumatiques du train d'atterrissage[A 13],[A 14]. La détection utilise la reconnaissance de formes régulières (rectangle, cercle, ellipse). De la même manière que dans le cadre de la navigation basée sur la vision, le modèle tridimensionnel de l'élément à inspecter peut également être projeté dans le plan image pour les formes plus complexes. Le contrôle se base sur des indices comme l'uniformité de régions segmentées ou la convexité de leurs formes ou la périodicité de l'intensité du signal image[A 13]. L'extraction de caractéristiques avec une approche Speeded Up Robust Features (SURF) est également possible pour réaliser l'inspection de certains éléments ayant deux états possibles, comme les sondes ou les static ports qui sont couverts ou non couverts. Un appariement est effectué entre des images de l'élément à inspecter dans différents états et celui présent dans la scène. Pour ces éléments simples à inspecter, une analyse en cours de navigation est possible et préférable en raison de son gain de temps[A 1]. Analyse de nuage de pointsAprès s'être positionné pour effectuer une inspection au scanner, le pantographe élève le scanner tridimensionnel de type Eva fabriqué par Artec 3D au niveau du fuselage. Une platine en pan et tilt permet d'effectuer une acquisition en balayant la coque. En comparant les données acquises au modèle tridimensionnel de l'avion, des algorithmes sont capables de diagnostiquer les défauts du fuselage en fournissant des informations sur sa forme, sa taille et sa profondeur[17],[A 15],[A 16]. En faisant évoluer les platines des hokuyos, les capteurs à balayage laser, il est également possible d'obtenir des nuages de point en trois dimensions. Une technique de recalage entre le modèle de l'avion et un nuage de points de la scène sert déjà en navigation pour estimer la pose statique du robot. Il est envisagé de réaliser des acquisitions ciblées, plus simples en termes de mouvement, pour vérifier l'absence de cale devant un train d’atterrissage ou la bonne fermeture des loquets de turboréacteurs[A 4]. Collaboration homme-robot
Comme le nom du projet l'indique, le robot mobile est un cobot : un robot collaboratif. Lors de ses phases de navigation et d'inspection, il est accompagné d'un opérateur humain qui peut reprendre la main si besoin, rajouter des taches d'inspection s'il note un défaut qui n'est pas dans la liste des taches du robot ou encore valider les résultats. En cas d'inspection pré-vol, le diagnostic du tour avion est envoyé au pilote qui prend ou non la décision de décoller[8],[16],[A 17]. Autres solutions d'inspection robotiséeProjet européen RobairLe robot d'inspection du projet européen Robair, financé de 2001 à 2003, est conçu pour monter sur les ailes et le fuselage des avions pour inspecter des rangées de rivets. Pour se mouvoir, le robot emploie un réseau flexible de ventouses pneumatiques qui s'adaptent à la surface. Il peut inspecter les lignes de rivets avec des ultrasons, des courants de Foucault et des techniques thermographiques. Il détecte les rivets desserrés ainsi que les fissures[18],[19],[20]. Solution drone d'EasyJetLa compagnie aérienne EasyJet s'est également intéressée à l'inspection des aéronefs en employant des drones. Elle a effectué une première inspection durant l'année 2015. Équipé de capteurs lasers et d'une caméra haute résolution, le drone effectue un vol autonome autour de l'appareil. Il engendre une image tridimensionnelle de l'avion et la transmet à un technicien. Ce dernier peut ensuite naviguer dans cette représentation et zoomer pour faire apparaître une photo haute résolution d'une partie de l’avion. L'opérateur doit ensuite diagnostiquer visuellement la présence ou l'absence de défauts. Cette approche évite l'emploi d'escaliers mécaniques pour observer les parties hautes de l'appareil[21]. Solution drone de DonecleFondée en 2015, Donecle, une startup toulousaine, s'est également lancée dans une approche drone et s'est d'abord spécialisée sur la détection des impacts de foudre sur les avions[22],[23]. Effectuée habituellement par quinze personnes équipées de harnais et de nacelles, cette inspection dure environ huit heures. L'immobilisation de l'appareil et l'utilisation du personnel sont couteux pour les compagnies aériennes. L'opération est estimée à 10 000 dollars par heure. La solution proposée par la start-up dure vingt minutes[23]. Donecle utilise un essaim de drones équipés de capteurs lasers et de micro-caméras. Les algorithmes de détection automatique des défauts, entraînés sur des bases de données d'images existantes avec un logiciel d'apprentissage, sont capables d'identifier divers éléments : irrégularité de texture, sonde pitot, rivet, ouverture, texte, défaut, corrosion, tache d'huile. Un rapport de dommages est envoyé sur la tablette tactile de l'opérateur avec chaque zone d'intérêt et la classification proposée muni d'un pourcentage de probabilité. Après avoir étudié les images, le verdict est rendu par un inspecteur qualifié[23]. Solution drone d'AirbusLe projet Aircam d'Airbus vise à concevoir une solution drone pour effectuer l'inspection haute des avions[24]. Le projet est développé au Airbus BizLab, un accélérateur de startup situé à Toulouse[24],[25]. Il est possible de définir une inspection spécifique, de voler automatiquement et d'obtenir des images haute définition de la surface supérieure. L'analyse des données récoltées est effectuée après le vol. Elle emploie des modèles tridimensionnels simplifiés d'avions pour identifier, localiser automatiquement sur la structure et enregistrer tous les dommages[24]. Airbus a fait une démonstration de sa solution d'inspection par drone au salon aéronautique de Farnborough de juillet 2016[26]. Poursuite du projetEn 2015, dans une interview donnée au magazine hebdomadaire français Air et Cosmos, Jean-Charles Marcos, le directeur général d'Akka Research, explique qu'une fois industrialisé et commercialisé, l'Air-Cobot coûterait entre 100 000 et 200 000 euros. Il pourrait répondre à des besoins civils en matière de contrôle non destructif mais également militaires[4]. Une suite possible du projet serait l'intervention du robot sur des avions de plus grandes dimensions que l'Airbus A320. Akka Technologies envisage de faire collaborer un duo de robots pour l'inspection : la même plate-forme mobile, pour les parties basses, et un drone, pour les parties hautes. Si des financements sont alloués alors cette seconde phase pourrait se dérouler au cours de la période 2017-2020[4]. Lors du salon aéronautique de Singapour en février 2016, Airbus Group présente Air-Cobot et son emploi dans leur vision du hangar du futur[27]. Le même mois, le gouvernement de Singapour engage Airbus Group pour aider les sociétés responsables de la maintenance à rester compétitive face aux pays voisins comme l'Indonésie, la Thaïlande et les Philippines qui sont moins chères. Pour améliorer la productivité, Airbus Group lance, en , un hangar d'essai où les nouvelles technologies peuvent être testées. Dans ce hangar du futur, les dommages de l'appareil seront décelés par des caméras situés à l'entrée du hangar lors du passage de l'avion. Le robot mobile Air-Cobot et le drone du projet Aircam, viendront améliorer cette première analyse[28]. Durant la quatorzième conférence internationale Remote Engineering and Virtual Instrumentation de , Akka Research Toulouse, l'un des centres de recherche et développement d'Akka Technologies, présente sa vision de l'aéroport du futur[A 2]. En plus d'Air-Cobot, un précédent projet orienté dans cet axe de recherche est Co-Friend, un système de vidéosurveillance intelligent pour surveiller et améliorer les opérations aéroportuaires[A 2],[29]. Des recherches futures se concentreront sur la gestion de ces opérations, les véhicules autonomes, les contrôles non destructif et les interactions homme-machine pour accroître l'efficacité et la sécurité dans les aéroports[A 2]. À partir d'août 2017, le robot intervient une fois par mois dans le musée aéronautique Aeroscopia de Blagnac. Les chercheurs du projet profitent de la collection pour faire des tests et acquisitions sur d'autres modèles d'avion Airbus A400M, Airbus A300 et Sud-Aviation SE 210 Caravelle[30]. Campagne de communicationLe , un brevet est déposé par Airbus Group[31]. De 2014 à 2016, le robot est présenté dans cinq salons dont un sur la robotique et deux sur l'aéronautique. Les recherches développées dans le cadre du projet sont présentées dans dix-sept conférences. Elles donnent lieu à deux thèses de doctorat et vingt-un articles scientifiques : dix-sept actes de conférence et quatre publiés dans des journaux[32]. Une partie des publications est centrée sur la navigation et/ou l'inspection réalisée par Air-Cobot tandis que le reste se focalise sur des méthodes numériques bien spécifiques ou des solutions matérielles en lien avec les problématiques du projet. Lors de la conférence internationale Machine Control and Guidance (MCG) de 2016, le prix de la meilleure application finale est attribué aux auteurs de la publication Human-robot collaboration to perform aircraft inspection in working environment[33]. Le , Airbus Group diffuse une vidéo de présentation du projet, réalisée par l'agence de communication Clipatize, sur sa chaîne YouTube[34],[16]. Le , Toulouse métropole diffuse une vidéo promotionnelle sur sa chaîne YouTube. Elle se présente comme un écosystème attractif, capable de construire l'avenir et met en avant sa visibilité à l'international. Le démonstrateur Air-Cobot a été choisi pour illustrer la recherche en robotique de cette métropole[35]. Localisé au laboratoire d'analyse et d'architecture des systèmes lors de son développement, les chercheurs ou les ingénieurs travaillant sur le projet présentent régulièrement le démonstrateur aux visiteurs (chercheurs extérieurs, partenaires industriels, étudiants) et parfois au grand public comme lors de la fête de la science 2015[36]. Airbus Group, toujours par l'intermédiaire de sa chaîne YouTube, diffuse le une vidéo de présentation de son projet de hangar du futur dans lequel il prévoit d'employer Air-Cobot[27]. À partir d'août 2017, le robot intervient une fois par mois dans le musée aéronautique Aeroscopia de Blagnac. Pendant que l'équipe scientifique teste le robot sur de nouveaux avions, des présentations du projet sont données aux visiteurs[30]. Le projet Air-Cobot est un des événements présentés au musée lors de la fête de la science 2017[37]. Salons
Conférences
PublicationsActes de conférences
Articles scientifiques
Thèses de doctorat
Notes et référencesArticles de recherche du projet
Programmes de conférences
Autres références
Voir aussiArticles connexesLiens externes |