Réseaux de neurones informés par la physique

Réseaux neuronaux informés de la physique pour résoudre les équations de Navier-Stokes

Les réseaux neuronaux informés par la physique (PINNs (Physics-informed neural networks) en anglais)[1], également appelés réseaux neuronaux guidés par la théorie (TTN) [2] sont des d'algorithmes d'apprentissage automatique qui intégrent la connaissance de lois physiques dans le processus d'entraînement. Souvent, ces lois physiques prennent la formes d'équations aux dérivées partielles (EDPs). L'utilisation de telles contraintes physiques a pour objectif de guider l'apprentissage du modèle pour en améliorer les performances. Cela est particulièrement utile quand la faible disponibilité des données limite la robustesse des modèles d’apprentissage automatique conventionnels, ce qui est parfois le cas pour certains problèmes biologiques et d’ingénierie[1]. La connaissance préalable de lois physiques agit alors comme une régularisation qui limite l'espace des solutions admissibles, avec pour but d'améliorer les performances du modèle et de le rendre plus interprétable.

Contexte général

La plupart des lois physiques qui régissent la dynamique d’un système peuvent être décrites par des systèmes d'équations aux dérivées partielles. Par exemple, les équations de Navier-Stokes [3] sont un ensemble d’équations aux dérivées partielles déduites des lois de conservation (c’est-à-dire la conservation de la masse, de la quantité de mouvement et de l’énergie ) qui régissent la mécanique des fluides. La résolution des équations de Navier-Stokes avec des conditions initiales et aux limites appropriées permet alors de décrire la dynamique de l'écoulement d'un fluide. Cependant, ces équations ne peuvent pas être résolues exactement et il faut donc utiliser des méthodes d'approximation numériques telles que les différences finies, les éléments finis ou les volumes finis.

Récemment, la résolution des équations aux dérivées partielles à l’aide de l’apprentissage profond est apparue comme un nouveau domaine de l’apprentissage automatique. Il repose en particulier sur le théorème d’approximation universel [4], qui affirme que les réseaux de neurones sont capables d'approximer toute fonction continue sur un ensemble compact[5]. Ainsi, les PINNs sont entraînés afin d'exploiter les données d’entraînement fournies et de respecter les équations de régulation imposées. De cette façon, un réseau neuronal peut être entraîné pour résoudre un système d'EDPs à partir d'une base de donnée qui n'est pas nécessairement volumineuse ou complète[5],[6].

Les PINNs ont été appliqués à un large éventail de problèmes en informatique et représentent notamment une nouvelle classe de solveurs numériques pour les EDPs. Ils peuvent être considérés comme une alternative sans maillage aux approches traditionnelles de résolution d'EDP (par exemple, la CFD pour la dynamique des fluides), ainsi qu'aux approches basées sur les données pour l'inversion de modèle et l'identification de systèmes[7]. Notamment, les PINNs peuvent être utilisés pour prédire les valeurs sur des grilles de simulation de différentes résolutions sans avoir besoin d'être réentraînés[8]. De plus, ils permettent d'exploiter la différenciation automatique (DA) [9] pour calculer les dérivées requises dans les équations aux dérivées partielles.

Modélisation du problème

La plupart des équations aux dérivées partielles prennent la forme

${\displaystyle u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}$

où la fonction ${\displaystyle u(t,x)}$ est l'inconnue, ${\displaystyle N[\cdot ;\lambda ]}$ est un opérateur potentiellement non-linéaire paramétré par ${\displaystyle \lambda }$, et ${\displaystyle \Omega }$ est un sous-ensemble de ${\displaystyle \mathbb {R} ^{D}}$. Cette formulation recoupe un large éventail de problèmes de physique mathématique, tels que les lois de conservations, les processus de diffusion, d'advection-diffusion et les équations cinétiques. Étant données des mesures bruitées d'une fonction solution de l'équation ci-dessus, un PINN peut être impléments pour résoudre les deux classes de problèmes suivantes :

• si le paramètre ${\displaystyle \lambda }$ est connu, il s'agit de résoudre l'EDP en tirant parti des données,
• sinon, il s'agit d'apprendre à la fois le paramètre ${\displaystyle \lambda }$ et la solution de l'EDP grâce aux données.

Résolution d'équations aux dérivées partielles basée sur les données

Etant donné un paramètre ${\displaystyle \lambda }$, le méthode PINN pour la résolution d'EDP cherche à estimer la solution ${\displaystyle u(t,x)}$ de l'EDP

${\displaystyle u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}$,

à partir d'un jeu de conditions aux bords ${\displaystyle z}$. Pour ce faire, la méthode PINN consiste à minimiser le risque empirique suivant sur un ensemble de réseaux de neurones

${\displaystyle L_{tot}=L_{u}+L_{f}}$,

où ${\displaystyle L_{u}=\Vert u-z\Vert _{\Gamma }}$ est l'erreur entre le PINN ${\displaystyle u(t,x)}$ et l'ensemble des conditions aux bords sur l'ensemble des points ${\displaystyle \Gamma }$ où les conditions aux bords sont définies, et ${\displaystyle L_{f}=\Vert u_{t}+N[u;\lambda ]\Vert _{\Gamma }}$ mesure l'écart entre le réseau de neurone et les solutions de l'EDP. C'est ce deuxième terme qui encourage le PINN à apprendre les informations structurelles exprimées par l'équation aux dérivées.

Les paramètres du réseau de neurones peuvent alors être calculés par descente de gradient en exploitant la différenciation automatique.

Cette approche a été appliquée dans la prévision des processus physiques, le contrôle prédictif des modèles, la modélisation multiphysique et multi-échelle et la simulation[10]. Il a été démontré qu'elle converge vers la solution de l'EDP[11].

Découverte d'équations aux dérivées partielles basée sur les données

Étant donné des mesures bruyantes et incomplètes ${\displaystyle z}$ de la fonction ${\displaystyle u(t,x)}$, la découverte de l'EDP guidée par les données [7] consiste en l'estimation à la fois de la fonction inconnue ${\displaystyle u(t,x)}$ et du paramètre ${\displaystyle \lambda }$ de l'EDP

${\displaystyle u_{t}+N[u;\lambda ]=0,\quad x\in \Omega ,\quad t\in [0,T]}$

qui décrivent le mieux les données observées. Pour cela, la méthode PINN consiste à minimiser à la fois en ${\displaystyle u(t,x)}$ et en ${\displaystyle \lambda }$ le risque empirique ${\displaystyle L_{tot}=L_{u}+L_{f}}$ défini dans le paragraphe précédent.

Cette stratégie permet de découvrir des modèles dynamiques décrits par des EDPs non linéaires. Cela a des applications dans la prévision de séries temporelles, le contrôle et l'assimilation de données[12],[13],[14].

Réseaux de neurones basés sur la physique (PINN) pour les problèmes inverses

Les réseaux neuronaux basés sur la physique (PINN) se sont avérés efficaces pour résoudre des problèmes inverses à base d'équations différentielles, notamment avec des données bruitées[15]. Ils se sont révélés efficaces en nano-optique[16], en optimisation de forme[17], en modélisation d'écoulement multiphasique dans les milieux poreux[18],[19], et en modélisation de l'écoulement de fluides à grande vitesse[20]. Ils ont également démontré des avantages clairs dans le calcul inverse des paramètres pour les base de données multi-fidélité, c'est-à-dire les bases de données combinant des observations à différentes échelles ou mesurées avec des précisions différentes. Les incertitudes dans les calculs peuvent être évaluées à l'aide de probabilités bayésiennes[21].

Limites

Les PINNs ont des difficultés à approximer les fonctions discontinues. De nombreux exemples existent où les PINNs ne parviennent pas à approximer les solutions de certaines EDPs[22],[23]. L'une des raisons des échecs d'entraînement de PINNs réside dans la nécessité d'optimiser à la fois la pénalité sur les conditions aux bords et celle sur l'EDP, ce qui correspond à un problème multi-objectif dont l'optimisation est fortement suceptible rester bloqué dans des optima locaux[24].

Références

1. (en) Maziar Raissi, Paris Perdikaris et George Em Karniadakis, « Physics Informed Deep Learning (Part I): Data-driven Solutions of Nonlinear Partial Differential Equations », 2017.
2. (en) Torabi Rad, Viardin, Schmitz et Apel, « Theory-training deep neural networks for an alloy solidification benchmark problem », Computational Materials Science, vol. 18,‎ 1^er mars 2020 (ISSN 0893-6080, DOI 10.1016/j.commatsci.2020.109687, arXiv 1912.09800, lire en ligne)
3. G. K. Batchelor, An introduction to fluid dynamics, Cambridge, U.K., 2nd pbk., 2000 (ISBN 978-0-521-66396-0)
4. (en) Hornik, Tinchcombe et White, « Multilayer feedforward networks are universal approximators », Neural Networks, vol. 2, n^o 5,‎ 1^er janvier 1989, p. 359–366 (ISSN 0893-6080, DOI 10.1016/0893-6080(89)90020-8, S2CID 2757547, lire en ligne)
5. Arzani et Dawson, « Data-driven cardiovascular flow modelling: examples and opportunities », Journal of the Royal Society Interface, vol. 18, n^o 175,‎ 2021, p. 20200802 (PMID 33561376, PMCID 8086862, DOI 10.1098/rsif.2020.0802, arXiv 2010.00131)
6. Arzani, Wang et D'Souza, « Uncovering near-wall blood flow from sparse data with physics-informed neural networks », Physics of Fluids, vol. 33, n^o 7,‎ 7 juin 2021, p. 071905 (DOI 10.1063/5.0055600, Bibcode 2021PhFl...33g1905A, arXiv 2104.08249, S2CID 233289904)
7. (en) Raissi, Perdikaris et Karniadakis, « Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations », Journal of Computational Physics, vol. 378,‎ 1^er février 2019, p. 686–707 (ISSN 0021-9991, DOI 10.1016/j.jcp.2018.10.045, Bibcode 2019JCoPh.378..686R, S2CID 57379996)
8. (en) Stefano Markidis, « The Old and the New: Can Physics-Informed Deep-Learning Replace Traditional Linear Solvers? », Frontiers in Big Data, vol. 4,‎ 19 novembre 2021 (ISSN 2624-909X, DOI 10.3389/fdata.2021.669097, lire en ligne, consulté le 17 janvier 2025)
9. (en) Atilim Gunes Baydin, Barak A. Pearlmutter, Alexey Andreyevich Radul, Jeffrey Mark Siskind, « Automatic differentiation in machine learning: a survey », 2018.
10. (en) Raissi, Yazdani et Karniadakis, « Hidden fluid mechanics: Learning velocity and pressure fields from flow visualizations », Science, vol. 367, n^o 6481,‎ 28 février 2020, p. 1026–1030 (ISSN 0036-8075, PMID 32001523, PMCID 7219083, DOI 10.1126/science.aaw4741, Bibcode 2020Sci...367.1026R)
11. (en) Nathan Doumèche, Gérard Biau et Claire Boyer, « Convergence and error analysis of PINNs », 2 mai 2023.
12. Fu, Xiao, Fu et Li, « Physics-data combined machine learning for parametric reduced-order modelling of nonlinear dynamical systems in small-data regimes », Computer Methods in Applied Mechanics and Engineering, vol. 404,‎ février 2023, p. 115771 (DOI 10.1016/j.cma.2022.115771, Bibcode 2023CMAME.404k5771F, S2CID 254397985)
13. Siddhartha Mishra et Roberto Molinaro, « Estimates on the generalization error of physics-informed neural networks for approximating a class of inverse problems for PDEs », IMA Journal of Numerical Analysis, vol. 42, n^o 2,‎ 13 avril 2022, p. 981–1022 (ISSN 0272-4979, DOI 10.1093/imanum/drab032, lire en ligne, consulté le 17 janvier 2025)
14. Tim De Ryck, Ameya D Jagtap et Siddhartha Mishra, « Error estimates for physics-informed neural networks approximating the Navier–Stokes equations », IMA Journal of Numerical Analysis, vol. 44, n^o 1,‎ 2 février 2024, p. 83–119 (ISSN 0272-4979, DOI 10.1093/imanum/drac085, lire en ligne, consulté le 17 janvier 2025)
15. Thanasutives, Morita, Numao et Fukui, « Noise-aware physics-informed machine learning for robust PDE discovery », Machine Learning: Science and Technology, vol. 4, n^o 1,‎ 1^er février 2023, p. 015009 (ISSN 2632-2153, DOI 10.1088/2632-2153/acb1f0, arXiv 2206.12901, lire en ligne)
16. « Optica Publishing Group », opg.optica.org (consulté le 18 mars 2024)
17. (en) Zhang, Dao, Karniadakis et Suresh, « Analyses of internal structures and defects in materials using physics-informed neural networks », Science Advances, vol. 8, n^o 7,‎ 18 février 2022, eabk0644 (ISSN 2375-2548, PMID 35171670, PMCID 8849303, DOI 10.1126/sciadv.abk0644, Bibcode 2022SciA....8..644Z)
18. (en) Serebrennikova, Teubler, Hoffellner et Leitner, « Transport of Organic Volatiles through Paper: Physics-Informed Neural Networks for Solving Inverse and Forward Problems », Transport in Porous Media, vol. 145, n^o 3,‎ 1^er décembre 2022, p. 589–612 (ISSN 1573-1634, DOI 10.1007/s11242-022-01864-7, Bibcode 2022TPMed.145..589S)
19. (en) Abbasi et Andersen, « Application of Physics-Informed Neural Networks for Estimation of Saturation Functions from Countercurrent Spontaneous Imbibition Tests », SPE Journal, vol. 29, n^o 4,‎ 1^er janvier 2024, p. 1710–1729 (ISSN 1086-055X, DOI 10.2118/218402-PA, lire en ligne)
20. Jagtap, Mao, Adams et Karniadakis, « Physics-informed neural networks for inverse problems in supersonic flows », Journal of Computational Physics, vol. 466,‎ octobre 2022, p. 111402 (ISSN 0021-9991, DOI 10.1016/j.jcp.2022.111402, Bibcode 2022JCoPh.46611402J, arXiv 2202.11821, lire en ligne)
21. Yang, Meng et Karniadakis, « B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data », Journal of Computational Physics, vol. 425,‎ janvier 2021, p. 109913 (ISSN 0021-9991, DOI 10.1016/j.jcp.2020.109913, Bibcode 2021JCoPh.42509913Y, arXiv 2003.06097, lire en ligne)
22. Mojgani, Balajewicz et Hassanzadeh, « Kolmogorov n–width and Lagrangian physics-informed neural networks: A causality-conforming manifold for convection-dominated PDEs », Computer Methods in Applied Mechanics and Engineering, vol. 404,‎ février 2023, p. 115810 (DOI 10.1016/j.cma.2022.115810, arXiv 2205.02902)
23. Eric Aislan Antonelo, Camponogara, Laio Oriel Seman et Eduardo Rehbein de Souza, « Physics-informed neural nets for control of dynamical systems », Neurocomputing, vol. 579,‎ 2024 (DOI 10.1016/j.neucom.2024.127419, arXiv 2104.02556)
24. (en) Sifan Wang, Yujun Teng et Paris Perdikaris, « Understanding and Mitigating Gradient Flow Pathologies in Physics-Informed Neural Networks », SIAM Journal on Scientific Computing, vol. 43, n^o 5,‎ janvier 2021, A3055–A3081 (ISSN 1064-8275 et 1095-7197, DOI 10.1137/20M1318043, lire en ligne, consulté le 17 janvier 2025)

Liens externes

• Réseau neuronal basé sur la physique
• PINN – référentiel pour implémenter un réseau neuronal basé sur la physique en Python
• XPINN – référentiel pour implémenter un réseau neuronal étendu basé sur la physique (XPINN) en Python
• PIPN [1] – référentiel pour implémenter PointNet basé sur la physique (PIPN) en Python