En estadística, el análisis de la regresión es un proceso estadístico para entender cómo una variable depende de otra variable. Por ejemplo, si se requiere entender cómo la edad de una persona afecta a su salario, se puede usar la regresión para encontrar una relación entre las dos variables. En términos simples, la regresión es una línea que se traza en un gráfico que muestra la relación entre dos variables. La línea se ajusta a los puntos de datos para mostrar la tendencia general entre las dos variables. Por ejemplo, si la edad y el salario están relacionados, la línea de regresión mostrará cómo el salario aumenta a medida que la edad de una persona aumenta. La regresión es una herramienta valiosa porque permite a los científicos de datos entender cómo dos variables están relacionadas y predecir valores futuros. Por ejemplo, si tienes la edad de una persona, puedes usar la línea de regresión para predecir su salario futuro.

Incluye muchas técnicas para el modelado y análisis de diversas variables, cuando la atención se centra en la relación entre una variable dependiente y una o más variables independientes (o predictoras). Más específicamente, el análisis de regresión ayuda a entender cómo el valor de la variable dependiente varía al cambiar el valor de una de las variables independientes, manteniendo el valor de las otras variables independientes fijos. Más comúnmente, el análisis de regresión estima la esperanza condicional de la variable dependiente dadas las variables independientes - es decir, el valor promedio de la variable dependiente cuando se fijan las variables independientes. Con menor frecuencia, la atención se centra en un cuantil, u otro parámetro de localización de la distribución condicional de la variable dependiente dadas las variables independientes. En todos los casos, el objetivo de la estimación es una función de las variables independientes llamada la función de regresión. En el análisis de regresión, también es de interés caracterizar la variación de la variable dependiente en torno a la función de regresión, la cual puede ser descrita por una distribución de probabilidad.

El análisis de regresión es ampliamente utilizado para la predicción y previsión, por su sencillez es una de las primeras herramientas matemáticas que se usa en el campo de aprendizaje automático. El análisis de regresión se utiliza también para comprender cuáles de las variables independientes están relacionadas con la variable dependiente, y explorar las formas de estas relaciones. En circunstancias limitadas, el análisis de regresión puede utilizarse para inferir relaciones causales entre las variables independientes y dependientes. Sin embargo, esto puede llevar a ilusiones o relaciones falsas, por lo que se recomienda precaución,^[1]​ por ejemplo, la correlación no implica causalidad.

Muchas técnicas han sido desarrolladas para llevar a cabo el análisis de regresión. Métodos familiares tales como la regresión lineal y la regresión por cuadrados mínimos ordinarios son paramétricos, en que la función de regresión se define en términos de un número finito de parámetros desconocidos que se estiman a partir de los datos. La regresión no paramétrica se refiere a las técnicas que permiten que la función de regresión consista en un conjunto específico de funciones, que puede ser de dimensión infinita.

El desempeño de los métodos de análisis de regresión en la práctica depende de la forma del proceso de generación de datos, y cómo se relaciona con el método de regresión que se utiliza. Dado que la forma verdadera del proceso de generación de datos generalmente no se conoce, el análisis de regresión depende a menudo hasta cierto punto de hacer suposiciones acerca de este proceso. Estos supuestos son a veces comprobables si una cantidad suficiente de datos está disponible. Los modelos de regresión para la predicción son frecuentemente útiles aunque los supuestos sean violados moderadamente, aunque no pueden funcionar de manera óptima. Sin embargo, en muchas aplicaciones, sobre todo con pequeños efectos o las cuestiones de causalidad sobre la base de datos observacionales, los métodos de regresión pueden dar resultados engañosos.^[2]​^[3]​

La primera forma de regresión fue el método de mínimos cuadrados, que fue publicado por Legendre en 1805,^[4]​ y por Gauss en 1809.^[5]​ Legendre y Gauss aplicaron el método para el problema de determinar, a partir de observaciones astronómicas, las órbitas de los cuerpos alrededor del Sol (principalmente cometas, pero también más tarde los entonces recién descubiertos planetas menores). Gauss publicó un desarrollo posterior de la teoría de los mínimos cuadrados en 1821,^[6]​ incluyendo una versión del teorema de Gauss-Markov.

El término "regresión" fue acuñado por Francis Galton en el siglo XIX para describir un fenómeno biológico. El fenómeno fue que las alturas de los descendientes de ancestros altos tienden a regresar hacia abajo, hacia un promedio normal (un fenómeno conocido como regresión hacia la media ).^[7]​^[8]​ Para Galton, la regresión sólo tenía este significado biológico,^[9]​^[10]​ pero su trabajo fue extendido más tarde por Udny Yule y Karl Pearson a un contexto estadístico más general.^[11]​^[12]​ En la obra de Yule y Pearson, la distribución conjunta de la variable respuesta y las variables explicativas se supone que es Gaussiana. Esta suposición fue debilitada por Ronald Fisher en sus obras de 1922 y 1925.^[13]​^[14]​^[15]​ Fisher supone que la distribución condicional de la variable respuesta es Gaussiana, pero la distribución conjunta no necesario que lo sea. A este respecto, la asunción de Fisher está más cerca de la formulación de Gauss de 1821.

En los años 1950 y 1960, los economistas utilizaron calculadoras electromecánicas para calcular las regresiones. Antes de 1970, a veces tomaba hasta 24 horas para recibir el resultado de una regresión.^[16]​

Los métodos de regresión siguen siendo un área de investigación activa. En las últimas décadas, nuevos métodos han sido desarrollados para regresión robusta, regresión que implica respuestas correlacionadas, tales como series de tiempo y las curvas de crecimiento, regresión en la que los predictores (variable independiente) o las variables de respuesta son curvas, imágenes, gráficos y otros objetos de datos complejos, métodos de regresión que aceptan varios tipos de datos faltantes, regresión no paramétrica, métodos de regresión bayesianos, regresión en la que las variables predictoras son medidas con error, regresión con más variables predictoras que observaciones y la inferencia causal con regresión.

En la práctica, los investigadores seleccionan primero un modelo que les gustaría estimar y, a continuación, utilizan el método elegido (por ejemplo, mínimos cuadrados ordinarios) para estimar los parámetros de dicho modelo. Los modelos de regresión incluyen los siguientes componentes:

• Los parámetros desconocidos, a menudo denotados como un escalar o vector. ${\displaystyle \beta }$.
• Las variables independientes, que se observan en los datos y a menudo se denotan como un vector ${\displaystyle X_{i}}$ (donde ${\displaystyle i}$ denota una fila de datos).
• La variable dependiente, que se observa en los datos y a menudo se denota mediante el escalar ${\displaystyle Y_{i}}$.
• Los términos de error, que no se observan directamente en los datos y a menudo se denotan utilizando el escalar ${\displaystyle e_{i}}$.

En varios campos de aplicación, se utilizan diferentes terminologías en lugar de variables dependientes e independientes.

La mayoría de los modelos de regresión proponen que ${\displaystyle Y_{i}}$ es una función de ${\displaystyle X_{i}}$ y ${\displaystyle \beta }$, con ${\displaystyle e_{i}}$ representando un término de error aditivo que puede representar determinantes no modelados de ${\displaystyle Y_{i}}$ o ruido estadístico aleatorio:

${\displaystyle Y_{i}=f(X_{i},\beta )+e_{i}}$

El objetivo de los investigadores es estimar la función ${\displaystyle f(X_{i},\beta )}$ que más se ajusta a los datos. Para llevar a cabo un análisis de regresión, es necesario especificar la forma de la función ${\displaystyle f}$. A veces, la forma de esta función se basa en un conocimiento sobre la relación entre ${\displaystyle Y_{i}}$ y ${\displaystyle X_{i}}$ que no depende de los datos. Si no se dispone de tal conocimiento, se elige una forma flexible o conveniente para ${\displaystyle f}$. Por ejemplo, una simple regresión univariante puede proponer ${\displaystyle f(X_{i},\beta )=\beta _{0}+\beta _{1}X_{i}}$, sugiriendo que el investigador cree que ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{i}+e_{i}}$ es una aproximación razonable para el proceso estadístico que genera los datos.

Una vez que los investigadores determinan su modelo estadístico preferido, diferentes formas de análisis de regresión proporcionan herramientas para estimar los parámetros ${\displaystyle \beta }$. Por ejemplo, mínimos cuadrados (incluida su variante más común, mínimos cuadrados ordinarios) encuentra el valor de ${\displaystyle \beta }$que minimiza la suma de errores al cuadrado ${\displaystyle \sum _{i}(Y_{i}-f(X_{i},\beta ))^{2}}$. Un método de regresión dado proporcionará en última instancia una estimación de ${\displaystyle \beta }$, normalmente denotada ${\displaystyle {\hat {\beta }}}$ para distinguir la estimación del verdadero valor del parámetro (desconocido) que generó los datos. A partir de esta estimación, el investigador puede utilizar el "valor ajustado" ${\displaystyle hat{Y_{i}}=f(X_{i},{\hat {\beta }})}$ para predecir o evaluar la precisión del modelo a la hora de explicar los datos. Que el investigador esté intrínsecamente interesado en la estimación ${\displaystyle {\hat {\beta }}}$ o en el valor predicho ${\displaystyle {\hat {Y_{i}}}}$ dependerá del contexto y de sus objetivos. Como se describe en mínimos cuadrados ordinarios, los mínimos cuadrados se utilizan ampliamente porque la función estimada ${\displaystyle f(X_{i},{\hat {\beta }})}$ se aproxima a la expectativa condicional ${\displaystyle E(Y_{i},{\hat {\beta }})}$. ${\displaystyle E(Y_{i}|X_{i})}$.^[5]​ Sin embargo, las variantes alternativas (por ejemplo, mínimas desviaciones absolutas o regresión cuantílica) son útiles cuando los investigadores quieren modelar otras funciones ${\displaystyle f(X_{i},\beta )}$.

Es importante señalar que debe haber datos suficientes para estimar un modelo de regresión. Por ejemplo, supongamos que un investigador tiene acceso a ${\displaystyle N}$ filas de datos con una variable dependiente y dos independientes: ${\displaystyle (Y_{i},X_{1i},X_{2i})}$. Supongamos además que el investigador desea estimar un modelo lineal bivariante mediante mínimos cuadrados: ${\displaystyle Y_{i}=\beta _{0}+\beta _{1}X_{1i}+\beta _{2}X_{2i}+e_{i}}$. Si el investigador sólo tiene acceso a ${\displaystyle N=2}$ puntos de datos, entonces podría encontrar infinitas combinaciones ${\displaystyle ({\hat {\beta }}_{0},{\hat {\beta }}_{1},{\hat {\beta }}_{2})}$ que expliquen los datos igualmente bien: se puede elegir cualquier combinación que satisfaga ${\displaystyle {\hat {Y}}_{i}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}}$, todas las cuales conducen a

${\displaystyle \sum _{i}{\hat {e}}_{i}^{2}=\sum _{i}({\hat {Y}}_{i}-({\hat {\beta }}_{0}+{\hat {\beta }}_{1}X_{1i}+{\hat {\beta }}_{2}X_{2i}))^{2}=0}$

y por tanto son soluciones válidas que minimizan la suma de residuos al cuadrado. Para entender por qué hay infinitas opciones, nótese que el sistema de ecuaciones ${\displaystyle N=2}$ debe resolverse para 3 incógnitas, lo que hace que el sistema sea subdeterminado. Alternativamente, se pueden visualizar infinitos planos tridimensionales que pasan por ${\displaystyle N=2}$ puntos fijos.

De forma más general, para estimar un modelo de mínimos cuadrados con ${\displaystyle k}$ parámetros distintos, hay que tener ${\displaystyle N\geq k}$ puntos de datos distintos. Si ${\displaystyle N>k}$, generalmente no existe un conjunto de parámetros que se ajuste perfectamente a los datos. La cantidad ${\displaystyle N-k}$ aparece a menudo en el análisis de regresión, y se denomina grados de libertad en el modelo. Además, para estimar un modelo de mínimos cuadrados, las variables independientes ${\displaystyle (X_{1i},X_{2i},...,X_{ki})}$ deben ser linealmente independientes: no se debe poder reconstruir ninguna de las variables independientes sumando y multiplicando las restantes variables independientes. Como se discute en mínimos cuadrados ordinarios, esta condición asegura que ${\displaystyle X^{T}X}$ es una matriz invertible y, por tanto, que existe una solución única ${\displaystyle {\hat {\beta }}}$.

Este modelo está conformado por dos variables estadísticas llamadas ${\displaystyle X}$ y ${\displaystyle Y}$. Asumiremos que la variable ${\displaystyle Y}$ es influida por la variable ${\displaystyle X}$, de esta forma, podemos referirnos a ${\displaystyle X}$ y a ${\displaystyle Y}$como Variable Independiente o Regresora y Variable Dependiente o Respuesta respectivamente.

Para la Regresión Lineal se asume que ${\displaystyle X}$ y ${\displaystyle Y}$ se relacionan mediante

$${\displaystyle Y=\beta _{0}+\beta _{1}X+\varepsilon }$$

donde

• ${\displaystyle Y}$ es una variable estadística no determinista.
• ${\displaystyle X}$ es una variable estadística determinista.
• ${\displaystyle \varepsilon }$ es una variable estadística no determinista y no observable.
• ${\displaystyle \beta _{0},\beta _{1}\in \mathbb {R} }$ son constantes desconocidas.
• ${\displaystyle \operatorname {E} (\varepsilon )=0}$ y ${\displaystyle {\text{Var}}(\varepsilon )=\sigma ^{2}<\infty }$.
• ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0}$ si ${\displaystyle i\neq j}$.
• ${\displaystyle \varepsilon \sim N(0,\sigma ^{2})}$

Los parámetros ${\displaystyle \beta _{0}}$ y ${\displaystyle \beta _{1}}$ son conocidos como coeficientes de regresión y estos pueden ser estimados mediante el método de Mínimos cuadrados o por el método de Máxima verosimilitud.

• Regresión segmentada

• Contraste de hipótesis
• Regresión lineal
• Regresión no lineal
• Regresión logística

• Francis Galton. "Regression Towards Mediocrity in Hereditary Stature," Journal of the Anthropological Institute, 15:246-263 (1886).
• A non-mathematical explanation of regression toward the mean.
• A simulation of regression toward the mean.
• Amanda Wachsmuth, Leland Wilkinson, Gerard E. Dallal. Galton's Bend: An Undiscovered Nonlinearity in Galton's Family Stature Regression Data and a Likely Explanation Based on Pearson and Lee's Stature Data