Método de Laplace

En matemáticas, el método de Laplace, llamado así por Pierre-Simon Laplace, es una técnica utilizada para aproximar integrales de la forma

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx,}$

dónde ${\displaystyle f}$ es una función dos veces diferenciable, ${\displaystyle M}$ es un número grande y los puntos finales ${\displaystyle a}$ y ${\displaystyle b}$ Podría ser infinito. Esta técnica fue presentada originalmente en el libro de Laplace (1774).

En estadística bayesiana, la aproximación de Laplace puede referirse a la aproximación de la constante de normalización posterior con el método de Laplace o a la aproximación de la distribución posterior con una gaussiana centrada en la estimación máxima a posteriori.[1]​[2]​ Las aproximaciones de Laplace se utilizan en el método de aproximaciones de Laplace anidadas integradas para aproximaciones rápidas de inferencia bayesiana.

Concepto

${\displaystyle f(x)={\tfrac {\sin(x)}{x}}}$ tiene un máximo global en ${\displaystyle x=0}$ . ${\displaystyle e^{Mf(x)}}$ se muestra en la parte superior para ${\displaystyle M=0.5}$ y en la parte inferior para ${\displaystyle M=3}$ (ambos en azul). Como ${\displaystyle M}$ A medida que crece, la aproximación de esta función mediante una función gaussiana (mostrada en rojo) mejora. Esta observación subyace al método de Laplace.

Sea la función ${\displaystyle f(x)}$ tener un máximo global único en ${\displaystyle x_{0}}$. ${\displaystyle M>0}$ Es una constante aquí. Se consideran las dos funciones siguientes:

${\displaystyle {\begin{aligned}g(x)&=Mf(x),\\h(x)&=e^{Mf(x)}.\end{aligned}}}$

Entonces, ${\displaystyle x_{0}}$ es el máximo global de ${\displaystyle g}$ y ${\displaystyle h}$ también. Por eso:

${\displaystyle {\begin{aligned}{\frac {g(x_{0})}{g(x)}}&={\frac {Mf(x_{0})}{Mf(x)}}={\frac {f(x_{0})}{f(x)}},\\[4pt]{\frac {h(x_{0})}{h(x)}}&={\frac {e^{Mf(x_{0})}}{e^{Mf(x)}}}=e^{M(f(x_{0})-f(x))}.\end{aligned}}}$

A medida que M aumenta, la relación entre ${\displaystyle h}$ crecerá exponencialmente, mientras que la proporción de ${\displaystyle g}$ No cambia. Por lo tanto, las contribuciones significativas a la integral de esta función provendrán únicamente de los puntos ${\displaystyle x}$ En un entorno de ${\displaystyle x_{0}}$, que luego puede estimarse.

Teoría general

Para enunciar y motivar el método es necesario hacer varias suposiciones. Se supone que ${\displaystyle x_{0}}$ no es un punto final del intervalo de integración y que los valores ${\displaystyle f(x)}$ No puede estar muy cerca de ${\displaystyle f(x_{0})}$ a menos que ${\displaystyle x}$ está cerca de ${\displaystyle x_{0}}$_.

${\displaystyle f(x)}$ se puede expandir alrededor de x ₀ por el teorema de Taylor,

${\displaystyle f(x)=f(x_{0})+f'(x_{0})(x-x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}+R}$

dónde ${\displaystyle R=O\left((x-x_{0})^{3}\right)}$ (ver: cota superior asintótica).

Desde ${\displaystyle f}$ tiene un máximo global en ${\displaystyle x_{0}}$, y ${\displaystyle x_{0}}$ no es un punto final, es un punto estacionario, es decir ${\displaystyle f'(x_{0})=0}$ . Por lo tanto, el polinomio de Taylor de segundo orden se aproxima ${\displaystyle f(x)}$ es

${\displaystyle f(x)\approx f(x_{0})+{\frac {1}{2}}f''(x_{0})(x-x_{0})^{2}.}$

Luego sólo se necesita un paso más para obtener una distribución gaussiana. Desde ${\displaystyle x_{0}}$ es un máximo global de la función ${\displaystyle f}$ Se puede afirmar, por definición de la segunda derivada, que ${\displaystyle f''(x_{0})\leq 0}$, dando así la relación

${\displaystyle f(x)\approx f(x_{0})-{\frac {1}{2}}|f''(x_{0})|(x-x_{0})^{2}}$

para ${\displaystyle x}$ cerca de ${\displaystyle x_{0}}$. La integral puede entonces aproximarse con:

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx\approx e^{Mf(x_{0})}\int _{a}^{b}e^{-{\frac {1}{2}}M|f''(x_{0})|(x-x_{0})^{2}}\,dx}$

Si ${\displaystyle f''(x_{0})<0}$ Esta última integral se convierte en una integral gaussiana si reemplazamos los límites de integración por ${\displaystyle -\infty }$ y ${\displaystyle +\infty }$; cuando ${\displaystyle M}$ es grande, esto crea solo un pequeño error porque el exponente decae muy rápido a partir de ${\displaystyle x_{0}}$. Calculando esta integral gaussiana obtenemos:

${\displaystyle \int _{a}^{b}e^{Mf(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|f''(x_{0})|}}}e^{Mf(x_{0})}{\text{ as }}M\to \infty .}$

Una generalización de este método y una extensión a precisión arbitraria la proporciona el libro Fog (2008).

Declaración formal y prueba

Supongamos que 𝑓(𝑥) es una función que tiene derivadas continuas hasta el segundo orden en el intervalo [𝑎, 𝑏], y que existe un único punto 𝑥₀ en el intervalo (𝑎, 𝑏) que satisface la siguiente condición:

${\displaystyle f(x_{0})=\max _{x\in [a,b]}f(x)\quad {\text{and}}\quad f''(x_{0})<0.}$

Entonces:

${\displaystyle \lim _{n\to \infty }{\frac {\int _{a}^{b}e^{nf(x)}\,dx}{e^{nf(x_{0})}{\sqrt {\frac {2\pi }{n\left(-f''(x_{0})\right)}}}}}=1.}$

Otras formulaciones

La aproximación de Laplace a veces se escribe como

${\displaystyle \int _{a}^{b}h(x)e^{Mg(x)}\,dx\approx {\sqrt {\frac {2\pi }{M|g''(x_{0})|}}}h(x_{0})e^{Mg(x_{0})}\ {\text{ as }}M\to \infty }$

dónde ${\displaystyle h}$ Es positivo.

Es importante destacar que la precisión de la aproximación depende de la variable de integración, es decir, de lo que permanece en ${\displaystyle g(x)}$ ¿Y qué entra en ${\displaystyle h(x).}$[3]​

${\displaystyle \int h(\mathbf {x} )e^{Mf(\mathbf {x} )}\,d\mathbf {x} \approx \left({\frac {2\pi }{M}}\right)^{d/2}{\frac {h(\mathbf {x} _{0})e^{Mf(\mathbf {x} _{0})}}{\left|-H(f)(\mathbf {x} _{0})\right|^{1/2}}}{\text{ as }}M\to \infty }$

dónde ${\displaystyle H(f)(\mathbf {x} _{0})}$ es la matriz hessiana de ${\displaystyle f}$ evaluado en ${\displaystyle \mathbf {x} _{0}}$ Y donde ${\displaystyle |\cdot |}$ denota determinante de matriz . De manera análoga al caso univariado, se requiere que la hessiana sea definida negativamente.[4]​

Por cierto, aunque ${\displaystyle \mathbf {x} }$ denota un ${\displaystyle d}$ -vector dimensional, el término ${\displaystyle d\mathbf {x} }$ denota aquí un volumen infinitesimal, es decir ${\displaystyle d\mathbf {x} :=dx_{1}dx_{2}\cdots dx_{d}}$ .

Extensión de descenso más pronunciado

En las extensiones del método de Laplace, se utiliza el análisis complejo, y en particular la fórmula integral de Cauchy, para encontrar un contorno de descenso más pronunciado para una integral equivalente (asintóticamente con M grande), expresada como una integral de línea. En particular, si no hay ningún punto x ₀ donde la derivada de ${\displaystyle f}$ Si se desvanece la función en la línea real, puede ser necesario deformar el contorno de integración a uno óptimo, donde será posible el análisis anterior. Nuevamente, la idea principal es reducir, al menos asintóticamente, el cálculo de la integral dada al de una integral más simple que pueda evaluarse explícitamente. Véase el libro de Erdelyi (1956) para una discusión sencilla (donde el método se denomina descensos más pronunciados).

La formulación adecuada para el plano z complejo es

${\displaystyle \int _{a}^{b}e^{Mf(z)}\,dz\approx {\sqrt {\frac {2\pi }{-Mf''(z_{0})}}}e^{Mf(z_{0})}{\text{ as }}M\to \infty .}$

para una trayectoria que pasa por el punto de silla en z₀. Nótese la aparición explícita de un signo menos para indicar la dirección de la segunda derivada: no se debe tomar el módulo. Tenga en cuenta también que si el integrando es meromórfico, es posible que haya que añadir residuos correspondientes a los polos recorridos mientras se deforma el contorno (véase, por ejemplo, la sección 3 del artículo de Okounkov Funciones simétricas y particiones aleatorias).

Otras generalizaciones

Una extensión del método de descenso más pronunciado es el llamado método de fase estacionaria no lineal/descenso más pronunciado . Aquí, en lugar de integrales, es necesario evaluar asintóticamente soluciones de problemas de factorización de Riemann-Hilbert.

Dado un contorno C en la esfera compleja, una función ${\displaystyle f}$ definida sobre ese contorno y un punto especial, como el infinito, se busca una función holomorfa M alejada de C, con salto prescrito a través de C, y con una normalización dada en el infinito. Si ${\displaystyle f}$ y por lo tanto M son matrices en lugar de escalares, este es un problema que en general no admite una solución explícita.

Se puede llevar a cabo una evaluación asintótica utilizando el método de fase estacionaria lineal o el descenso más pronunciado. La propuesta consiste en simplificar asintóticamente la solución del problema de Riemann-Hilbert original, transformándola en un problema de Riemann-Hilbert más sencillo y que se puede resolver de manera explícita. Para respaldar las deformaciones del contorno del salto, se recurre al teorema de Cauchy.

La fase estacionaria no lineal fue presentada por Deift y Zhou en 1993, fundamentándose en investigaciones previas de Its. En 2003, Kamvissis, K. McLaughlin y P. Miller desarrollaron un método de descenso más acentuado (específicamente) no lineal, basado en estudios anteriores de Lax, Levermore, Deift, Venakides y Zhou. Al igual que en el contexto lineal, los "contornos de descenso más acentuados" abordan un problema de mínimo-máximo. En el ámbito no lineal, estos se manifiestan como "curvas S", término que fue definido en un contexto diferente en los años 80 por Stahl, Gonchar y Rakhmanov.

El método de fase estacionaria no lineal/descenso más pronunciado tiene aplicaciones en la teoría de ecuaciones de solitones y modelos integrables, matrices aleatorias y combinatoria.

Generalización de la aproximación del punto medio

En la generalización, la evaluación de la integral se considera equivalente a encontrar la norma de la distribución con densidad.

${\displaystyle e^{Mf(x)}.}$

Denotando la distribución acumulativa ${\displaystyle F(x)}$, si existe una distribución gaussiana difeomórfica con densidad

${\displaystyle e^{-g-{\frac {\gamma }{2}}y^{2}}}$

La norma viene dada por

${\displaystyle {\sqrt {2\pi \gamma ^{-1}}}e^{-g}}$

y el difeomorfismo correspondiente es

${\displaystyle y(x)={\frac {1}{\sqrt {\gamma }}}\Phi ^{-1}{\left({\frac {F(x)}{F(\infty )}}\right)},}$

dónde ${\displaystyle \Phi }$ denota la función de distribución normal estándar acumulativa.

En general, cualquier distribución difeomorfa a la distribución gaussiana tiene densidad

${\displaystyle e^{-g-{\frac {\gamma }{2}}y^{2}(x)}y'(x)}$

y el punto mediano se asigna a la mediana de la distribución gaussiana. Al hacer coincidir el logaritmo de las funciones de densidad y sus derivadas en el punto medio hasta un orden dado se obtiene un sistema de ecuaciones que determinan los valores aproximados de ${\displaystyle \gamma }$ y ${\displaystyle g}$.

La aproximación fue introducida en 2019 por D. Makogon y C. Morais Smith principalmente en el contexto de la evaluación de la función de partición para un sistema de fermiones en interacción.[5]​

Integrales complejas

Para integrales complejas en la forma:

${\displaystyle {\frac {1}{2\pi i}}\int _{c-i\infty }^{c+i\infty }g(s)e^{st}\,ds}$

con ${\displaystyle t\gg 1,}$ hacemos la sustitución t = iu y el cambio de variable ${\displaystyle s=c+ix}$ Para obtener la transformada de Laplace bilateral:

${\displaystyle {\frac {1}{2\pi }}\int _{-\infty }^{\infty }g(c+ix)e^{-ux}e^{icu}\,dx.}$

Luego descomponemos g ( c + ix ) en su parte real y compleja, tras lo cual recuperamos u = t / i . Esto es útil para las transformadas de Laplace inversas, la fórmula de Perron y la integración compleja.

Ejemplo: Aproximación de Stirling

El método de Laplace se puede utilizar para derivar la aproximación de Stirling.

${\displaystyle N!\approx {\sqrt {2\pi N}}({\frac {N}{e}})^{N}\,}$

para un entero grande N . De la definición de la función Gamma, tenemos

${\displaystyle N!=\Gamma (N+1)=\int _{0}^{\infty }e^{-x}x^{N}\,dx.}$

Ahora cambiamos las variables, dejando ${\displaystyle x=Nz}$ de modo que ${\displaystyle dx=Ndz.}$ Vuelva a insertar estos valores para obtener

${\displaystyle {\begin{aligned}N!&=\int _{0}^{\infty }e^{-Nz}(Nz)^{N}N\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}z^{N}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{-Nz}e^{N\ln z}\,dz\\&=N^{N+1}\int _{0}^{\infty }e^{N(\ln z-z)}\,dz.\end{aligned}}}$

Esta integral tiene la forma necesaria para el método de Laplace con

${\displaystyle f(z)=\ln {z}-z}$

que es dos veces diferenciable:

${\displaystyle f'(z)={\frac {1}{z}}-1,}$

${\displaystyle f''(z)=-{\frac {1}{z^{2}}}.}$

El máximo de ${\displaystyle f(z)}$ se encuentra en z ₀ = 1, y la segunda derivada de ${\displaystyle f(z)}$ tiene el valor −1 en este punto. Por lo tanto, obtenemos

${\displaystyle N!\approx N^{N+1}{\sqrt {\frac {2\pi }{N}}}e^{-N}={\sqrt {2\pi N}}N^{N}e^{-N}.}$

Véase también

• Método de la fase estacionaria

Referencias

1. Tierney, Luke; Kadane, Joseph B. (1986). «Accurate Approximations for Posterior Moments and Marginal Densities». J. Amer. Statist. Assoc. 81 (393): 82-86. doi:10.1080/01621459.1986.10478240. 
2. Amaral Turkman, M. Antónia; Paulino, Carlos Daniel; Müller, Peter (2019). «Methods Based on Analytic Approximations». Computational Bayesian Statistics: An Introduction. Cambridge University Press. pp. 150-171. ISBN 978-1-108-70374-1. 
3. Butler, Ronald W (2007). Saddlepoint approximations and applications. Cambridge University Press. ISBN 978-0-521-87250-8. 
4. MacKay, David J. C. (September 2003). Information Theory, Inference and Learning Algorithms. Cambridge: Cambridge University Press. ISBN 9780521642989. 
5. Makogon, D.; Morais Smith, C. (3 de mayo de 2022). «Median-point approximation and its application for the study of fermionic systems». Physical Review B 105 (17): 174505. Bibcode:2022PhRvB.105q4505M. doi:10.1103/PhysRevB.105.174505.