Recalage d'images

En traitement d'image, le recalage est une technique qui consiste en la « mise en correspondance d'images »[1], dans le but de comparer ou combiner leurs informations respectives. Cette méthode repose sur les mêmes principes physique et le même type de modélisation mathématique que la corrélation d'images.

Cette mise en correspondance se fait par la recherche d'une transformation géométrique permettant de passer d'une image à une autre. Cette technique comprend de nombreuses applications, allant de l'imagerie médicale, afin par exemple de fusionner plusieurs modalités d'imagerie, au traitement de vidéos, comme le suivi de mouvement et la compression, ou à la création de mosaïques d'images (panoramas).

Les images à recaler peuvent provenir d'une même source (ex. : scanner, caméra) ou être « multi-sources » (ex. : images satellitales, aériennes et carte d'un même territoire[2]).

Principe de l'algorithme

Soient deux images données[3],

${\displaystyle I_{F}(\mathbf {x} )}$ l'image fixe

et ${\displaystyle I_{M}(\mathbf {x} )}$ l'image déformable

où ${\displaystyle \mathbf {x} }$ est une position dans le domaine de l'image ${\displaystyle \Omega _{F}}$ et ${\displaystyle \Omega _{M}}$.

L'objectif est de trouver la transformation ${\displaystyle \mathbf {\mathit {T}} :\Omega _{F}\to \Omega _{M}}$

qui permet de minimiser l'écart entre deux images après la transformation:

${\displaystyle {\mathcal {C}}(\mathbf {\mathit {T}} ;I_{F},I_{M})}$.

La métrique ${\displaystyle {\mathcal {C}}}$ s'appelle le critère de similarité dans le paragraphe suivant.

Ce critère peut être par exemple la distance au carré des deux images: ${\displaystyle \int _{\Omega _{F}}[I_{F}(\mathbf {x} )-I_{M}(\mathbf {\mathit {T}} (\mathbf {x} ))]^{2}d\mathbf {x} }$.

Et la minimisation se fait par un algorithme d'optimisation.

Classification des méthodes

Les méthodes de recalage peuvent être classifiées selon quatre critères principaux[4] :

• les attributs : sur quel type d'information se fonde le recalage ?
• le critère de similarité : comment estimer l'appariement entre les points des images ?
• le modèle de transformation : comment sont alignés les points d'une image à l'autre ?
• la stratégie d'optimisation : comment converger vers une solution rapidement ?

Les attributs de l'image

Pour estimer la transformation, on peut utiliser l'intensité ou des primitives géométriques.

Approche géométrique

Ces méthodes furent parmi les premières à être proposées de par leur similitude avec la méthode utilisée par un être humain pour mettre en correspondance deux images. Elles se fondent en effet sur l'extraction à partir de chacune des images de primitives géométriques (points saillants, coins, contours...). Par la suite, ces primitives sont appariées afin de déterminer la transformation entre les deux images. Cette approche est intéressante car ces primitives sont faciles à manipuler et elles permettent d'être indépendante des modalités. Cependant, extraire ces attributs n'est pas toujours aisé.

Approche iconique

Cette classe de méthodes se fonde essentiellement sur l'utilisation des intensités des deux images via l'utilisation d'une mesure de similarité, sans prendre en compte l'information géométrique. Cette approche peut également s'appuyer sur une information dérivée des caractéristiques différentielles de l'image ou sur une transformée de Fourier. Cependant, dans le cas du recalage multimodal ou monomodal inter-patients, la relation entre l'intensité des images n'est pas toujours triviale à calculer. De plus, on n'extrait pas un sous-ensemble d'attributs, et par conséquent le nombre de données à traiter est élevé (l'entièreté de l'image).

Approche hybride

Cette approche tente de tirer parti des deux approches sus-citées.

Critère de similarité

La mesure de similarité entre les images dépend des attributs considérés.

Information fondée sur les attributs géométriques

C'est une information, comme des points (landmarks, coordonnées), des lignes ou des surfaces, qu'il faut mettre en correspondance. L'opération consiste à minimiser les distances entre les attributs homologues.

Information fondée sur l'intensité

De nombreuses mesures de similarité ont été développées à ce jour, supposant chacune une relation différente entre les intensités lorsque les images sont recalées. Parmi elles, les plus utilisées sont notamment :

• la SSD (sum of square differences, somme des différences au carré) qui suppose que les intensités des deux images sont les mêmes ;
• des mesures issues de la théorie de l'information comme le coefficient de corrélation qui suppose une relation affine entre les intensités ;
• l'information mutuelle fondé sur des relations statistiques. Cette mesure est idéale pour le recalage non rigide car l'appariement entre attributs homologues est indépendant de leur position géométrique.

Modèles de transformation

Transformation linéaire

La transformation géométrique recherchée peut tout d'abord être linéaire, c'est-à-dire pouvant s'écrire sous la forme d'un polynôme de degré 1. Cette classe comprend notamment les transformations rigides (rotation, translation), les similitudes, les transformations affines et les transformations projectives.

Pour des raisons pratiques, ce type de transformation est par ailleurs souvent représenté sous une forme matricielle. On parle alors de représentation en coordonnées homogènes.

Par exemple, les transformations linéaires ne comportant que des translations ou des rotations sur les axes sont des recalage dit rigide. Ils sont notamment utilisés en imagerie médicale pour le recalage d'image intra-sujet et intra-modalité mais ayant été acquis à des dates différentes[5].

Transformation non linéaire

La transformation peut également être non linéaire. Elle est alors d'ordre supérieur par exemple les thin-plate splines, les combinaisons de B-Splines, etc. Dans la littérature de traitement d'images, ces transformations peuvent également être nommées élastiques, déformables ou encore non rigides.

Il existe deux approches pour modéliser la transformation non rigide : l'approche paramétrique et l'approche non paramétrique.

Approches paramétriques

Méthode polynomiale

Fonctions de base (Basis function)

Fonctions de base radiale (Radial Basis function)

FFD- Free Form Deformations (transformation globale ou locale)

FEM- Finite Element Method

Approches non paramétriques

Méthodes différentielles

• Modèles fluides ou élastiques du recalage
• Flux optique
• Algorithme Demons 0, 1 et 2 (Thirion)
• Algorithme Demons difféomorphique
• Algorithme de calculs rapides des mises à jour du champ de correspondances
• Algorithme efficient Demons difféomorphique

Méthodes statistiques

• Approche bayésienne (ou markovienne)

Stratégie d'optimisation

Les méthodes d'optimisation constituent le lien entre le critère de ressemblance et la transformation optimisée, utilisant les informations issues du ou des critères choisies afin de déduire la transformation entre les images. De ce fait, ces algorithmes dépendent de la transformation optimisée et du critère.

Les méthodes géométriques produisent souvent un ensemble d'appariements entre divers points des images. Dans ce cas, et si la transformation recherchée le permet, un algorithme dit des moindres carrés, ainsi que ses variantes robustes, peut être utilisé afin d'obtenir la transformation optimale.

Les critères iconiques sont quant à eux souvent optimisés via des méthodes de descente de gradient en fonction des paramètres de la transformation ou, lorsque le gradient ne peut être calculé, la méthode de Powell peut être utilisée afin d'optimiser la transformation.

On distingue quatre grandes stratégies d'optimisation:

Les méthodes directes

Les méthodes exhaustives

Les méthodes numériques itératives d'ordre supérieur

Les méthodes non déterministes

Applications

Le recalage est utilisé en imagerie médicale où ses applications sont nombreuses. Il permet notamment de fusionner plusieurs images d'un même patient, ceci par exemple afin de pouvoir exploiter les informations fournies dans différentes modalités comme l' imagerie scanner, l'imagerie par résonance magnétique, l'échographie ou l'échographie doppler, l'imagerie Tomographie à émission de positron (TEP), la scintigraphie, l'imagerie infrarouge... Mais il peut également être utilisé pour l'étude de l'évolution au cours du temps d'un patient.
Le recalage est dit monomodal lorsque deux images de la même modalité sont recalées. Lorsque deux images de modalités différentes sont recalées, on parle alors de recalage multimodal.

En traitement d'imagerie médicale, il y a beaucoup d'applications cliniques et de recherches au recalage d'images. Les quatre grands domaines de recherches sont:

• Le recalage inter-patients : pour mettre en correspondance les informations entre plusieurs patients. Cela permet de créer des modèles anatomiques ou fonctionnels de référence, ou même des atlas (sur base de la segmentation) ;
• Le recalage intra-patient monomodal : pour suivre l'évolution d'une lésion et compenser les changements de sa position chez un patient par un seul mode exploratoire ;
• Le recalage intra-patient multimodal : pour mettre en correspondance les informations anatomiques et fonctionnelles (plutôt par recalage rigide ou affine) chez un patient par plusieurs modes exploratoires ;
• Le recalage atlas-données : pour mettre en correspondance des données cliniques avec un atlas de référence.

Le recalage est également très utilisé dans le domaine du traitement de vidéos. Il peut par exemple être utilisé pour la détection de mouvement, le suivi automatique de formes ou d'objets.

D'autres applications dans le domaine du traitement d'images sont notamment reliées au morphing permettant de générer une transition entre deux images. Mais il est également très important en imagerie satellitaire, pour la création de panoramas d'images, etc. Enfin, une application étonnante est la souris optique. La plupart des technologies existantes utilisent en effet un recalage entre les images acquises par la souris afin d'estimer le mouvement de celle-ci.

Dans le domaine de mécanique, il existe aussi la technique du recalage avec le nom corrélation d'images numériques qui permet de mesurer les champs de déplacements entre deux images. Le principe de la méthode reste pareil à celui du recalage mais la corrélation d'images se focalise particulièrement sur la transformation et les déplacements entre images afin d'identifier des propriétés mécaniques des matériaux.

Il existe un outil open source de recalage d'image elastix[6] qui comprend la plupart de fonctionnalités courantes (Plusieurs modèles de transformation, critères de similarité etc.). L'utilisateur peut obtenir les résultats désirés comme image de sortie, champs de déplacements.

Un autre outil d'intérêt pour ses fonctionnalités est le framework open-source et cross-platform de développement d'application Insight Segmentation and Registration Toolkit (ITK)[7] utilisé dans le Visible Human Project. Ce framework, c++ et disposant d'un wrapper java, est utilisé conjointement avec framework open-source et cross-platform de développement d'application Visualization Toolkit (VTK)[8] qui se concentre essentiellement sur la visualisation.

Notes et références

1. Zhengyou Zhang, Le problème de la mise en correspondance : L'état de l'art, Institut national de recherche en informatique et en automatique (INRIA), rapport de recherche n^o 2146, décembre 1993, 44 p., (lire en ligne [PDF]), p. 20.
2. Michel Roux, Recalage d'images multi-sources: application au recalage d'une image SPOT et d'une carte, thèse de doctorat en traitement de l'image, École nationale supérieure des télécommunications, Paris, 1993, 192 pages (résumé, sur cat.inist.fr, Institut de l'information scientifique et technique).
3. Medical Image Registration; Joseph V. Hajnal, Derek L.G. Hill, David J. Hawkes; 2001
4. Correction d'images en provenance d'appareillage de type PET/CT, Marc Honoré, F.U.N.D.P, 2008
5. (en) William D. Penny, Karl J. Friston, John T. Ashburner, Stefan J. Kiebel, Thomas E. Nichols, Statistical Parametric Mapping : The Analysis of Functional Brain Images, Amsterdam/Boston, Elsevier / Academic Press, 2007 (ISBN 978-0-12-372560-8, lire en ligne), p. 49 - 100
6. « Elastix », sur uu.nl via Wikiwix (consulté le 3 novembre 2023).
7. (en) « Insight Toolkit », sur itk.org (consulté le 7 octobre 2023).
8. (en) « The Visualization Toolkit », sur vtk.org (consulté le 7 octobre 2023).

Voir aussi

Articles connexes

• vision industrielle
• vision par ordinateur
• Lissage d'images
• Visible Human Project
• Insight Segmentation and Registration Toolkit (ITK)
• Visualization Toolkit (VTK)

Liens externes

Bibliographie

• (fr) Zhengyou Zhang (1993), Le problème de la mise en correspondance : L'état de l'art ; INRIA (Institut national de recherche en informatique et en automatique), Rapport de recherche n°2146 ; décembre 1993, PDF, 20p
• (fr) A Roche (2001), Recalage d'images médicales par inférence statistique; thèse en sciences de l'ingénieur, soutenue à l'université de Nice, 2001-02-02, 242 pages, avec Archives-ouvertes.fr
• (fr) Monasse Pascal (2000) Thèse : Représentation morphologique d'images numériques et application au recalage = Morphological representation of digital images and application to registration soutenue à l'Université de Paris 09 ; 211 pages et 94 ref. bibl. (résumé avec Inist-CNRS)
• (fr) C Nikou (1999), thèse : Contribution au recalage d'images médicales multimodales: approches par fonctions de similarité robustes et modèles déformables sous contraintes statistiques, Université de Strasbourg 1, - cat.inist.fr; 166 pages et 215 ref. bibl. (résumé avec Inist-CNRS)
• (fr) G Bonniaud & al. (2006), Recalage d'images en radiothérapie: considérations pratiques et contrôle de qualité  ; Cancer/Radiothérapie, Volume 10, Issue 5, Pages 222-230 ; résumé Elsevier
• (fr) G. Boisserie (2005), Apport du recalage et/ou de la fusion d'images à la radiothérapie ; Cancer/Radiothérapie, Volume 9, Issue 4, June 2005, Pages 204-222 (résumé)
• (fr) N. Betrouni, T. Lacornerie, M. Vermandel (2009);, Recalage d’images pour la délinéation : principes, validation et pratique en routine ; Cancer/Radiothérapie, Volume 13, Issues 6–7, October 2009, Pages 588-593 (résumé)
• (fr) N. Betrouni (2009), Le recalage en imagerie médicale : de la conception à la validation (Review Article) ; IRBM, Volume 30, Issue 2, April 2009, Pages 60-71 (résumé)
• (fr) T. Jerbi, V. Burdin, C. Roux, E. Stindel (2012), Recalage 2D-3D dans le domaine fréquentiel pour l’étude du mouvement en condition quasi statique : étude pilote sur l’articulation du genou, IRBM, Volume 33, Issue 1, February 2012, Pages 18-23 (résumé)
• (fr) N. Makni, P. Puech, O. Colot, S. Mordon, N. Betrouni (2011), Recalage géométrique non rigide pour le guidage de la thérapie focale laser du cancer de la prostate ; IRBM, Volume 32, Issue 5, November 2011, Pages 284-287 (résumé)
• (fr) P. Malzy, A. Vignaud, F. Duchat, M. Sirol, O. Ledref, P. Soyer, R. Rymer (2009), Amelioration diagnostique de L’ARM des membres inférieurs en utilisant un logiciel de recalage elastique ; Journal de Radiologie, Volume 90, Issue 10, October 2009, Page 1200 (résumé)
• (en) Yifeng Wu (1998), Application of dynamic programming for image registration: Original French title: Application de la programmation dynamique au recalage d'images ; Signal Processing, Volume 14, Issue 4, June 1988, Page 38 (résumé)
• (fr) F Hodé, AV Levy, ND Volkow (1997), La méthode Galaxie, un recalage automatique en imagerie multimodalités 3D et un outil de comparaison ; RBM-News, Volume 19, Issue 1, 1997, Pages 40-45 (résumé)
• (en) Jérôme Fehrenbach, Mohamed Masmoudi (2008), A fast algorithm for image registration ; Comptes Rendus Mathématique, Volume 346, Issues 9–10, May 2008, Pages 593-598 (résumé)
• (fr) Frédéric J.P. Richard (2002), Résolution de problèmes hyperélastiques de recalage d'images ; Comptes Rendus Mathématique, Volume 335, Issue 3, 2002, Pages 295-29 (résumé)
• (fr) L. Ramus, J. Thariat, P.-Y. Marcy, Y. Pointreau, G. Bera, O. Commowick, G. Malandain (2010), Outils de contourage, utilisation et construction d’atlas anatomiques : exemples des cancers de la tête et du cou ; Cancer/Radiothérapie, Volume 14, Issue 3, June 2010, Pages 206-212 (résumé)