Regresión lineal

En estadística, la regresión lineal o ajuste lineal es un modelo matemático usado para aproximar la relación de dependencia entre una variable dependiente ${\displaystyle Y}$, ${\displaystyle m}$ variables independientes ${\displaystyle X_{i}}$ con ${\displaystyle m\in \mathbb {Z} ^{+}}$ y un término aleatorio ${\displaystyle \varepsilon }$. Este método es aplicable en muchas situaciones en las que se estudia la relación entre dos o más variables o predecir un comportamiento, algunas incluso sin relación con la tecnología. En caso de que no se pueda aplicar un modelo de regresión a un estudio, se dice que no hay correlación entre las variables estudiadas. Este modelo puede ser expresado como:

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{m}X_{m}+\varepsilon }$

donde:

• ${\displaystyle Y}$ es la variable dependiente o variable de respuesta.
• ${\displaystyle X_{1},X_{2},\dots ,X_{m}}$ son las variables explicativas, independientes o regresoras.
• ${\displaystyle \beta _{0},\beta _{1},\beta _{2},\dots ,\beta _{m}}$ son los parámetros del modelo, miden la influencia que las variables explicativas tienen sobre el regrediendo.

el término ${\displaystyle \beta _{0}}$ es la intersección o término "constante", las ${\displaystyle \beta _{i}\ (i\geq 1)}$ son los parámetros respectivos a cada variable independiente, y ${\displaystyle m}$ es el número de parámetros independientes a tener en cuenta en la regresión. La regresión lineal puede ser contrastada con la regresión no lineal.

La primera forma de regresión lineal documentada fue el método de los mínimos cuadrados que fue publicada por Legendre en 1805, Gauss publicó un trabajo en donde desarrollaba de manera más profunda el método de los mínimos cuadrados,^[1]​ y en donde se incluía una versión del teorema de Gauss-Márkov.

El término regresión se utilizó por primera vez en el estudio de variables antropométricas: al comparar la estatura de padres e hijos, donde resultó que los hijos cuyos padres tenían una estatura muy superior al valor medio, tendían a igualarse a este, mientras que aquellos cuyos padres eran muy bajos tendían a reducir su diferencia respecto a la estatura media; es decir, "regresaban" al promedio.^[2]​ La constatación empírica de esta propiedad se vio reforzada más tarde con la justificación teórica de ese fenómeno.

El término lineal se emplea para distinguirlo del resto de técnicas de regresión, que emplean modelos basados en cualquier clase de función matemática. Los modelos lineales son una explicación simplificada de la realidad, mucho más ágiles y con un soporte teórico mucho más extenso por parte de la matemática y la estadística.

Pero bien, como se ha dicho, se puede usar el término lineal para distinguir modelos basados en cualquier clase de aplicación.

El modelo de regresión lineal será aplicado en aquellos casos en los que la variable independiente X sea continua. El modelo lineal relaciona la variable dependiente ${\displaystyle Y}$ con ${\displaystyle m}$ variables regresoras ${\displaystyle X_{j}}$ con ${\displaystyle j=1,2,\dots ,m}$ o cualquier transformación de éstas que generen un hiperplano de parámetros ${\displaystyle \beta _{i}}$ desconocidos:

${\displaystyle {\begin{aligned}Y&=\beta _{0}+\beta _{1}X_{1}+\cdots +\beta _{m}X_{m}+\varepsilon \\&=\beta _{0}+\sum _{j=1}^{m}\beta _{j}X_{j}+\varepsilon \end{aligned}}}$

donde ${\displaystyle \varepsilon }$ es una variable aleatoria que recoge todos aquellos factores de la realidad no controlables u observables y que por tanto se asocian con el azar, y es la que confiere al modelo su carácter estocástico. En el caso más sencillo, con una sola variable explícita, el hiperplano es una recta:

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\varepsilon }$

El problema de la regresión consiste en elegir unos valores determinados para los parámetros desconocidos ${\displaystyle \beta _{j}}$, de modo que la ecuación quede completamente especificada. Para ello se necesita un conjunto de observaciones o una muestra proveniente de este modelo. En una observación ${\displaystyle i}$-ésima ${\displaystyle (i=1,2,\dots ,n)}$ cualquiera, se registra el comportamiento simultáneo de la variable dependiente y las variables explícitas (las perturbaciones aleatorias se suponen no observables).

${\displaystyle y_{i}=\beta _{0}+\sum _{j=1}^{m}\beta _{j}x_{ij}+\varepsilon _{i}}$

Los valores escogidos como estimadores de los parámetros ${\displaystyle {\hat {\beta }}_{j}}$, son los coeficientes de regresión sin que se pueda garantizar que coincidan con parámetros reales del proceso generador. Por tanto, en

${\displaystyle Y_{i}=\beta _{0}+\sum _{j=1}^{m}{\hat {\beta }}_{j}X_{ij}+{\hat {\varepsilon }}_{i}}$

Los valores ${\displaystyle {\hat {\varepsilon }}_{i}}$ son por su parte estimaciones o errores de la perturbación aleatoria. Ei es el residuo e indica la bondad del ajuste realizado para cada punto. Se calcula de la siguiente forma:

${\displaystyle e_{i}=y_{i}-{\hat {y}}_{i}}$

Una vez se ha obtenido la recta de regresión, es necesario comprobar la bondad del ajuste realizado mediante el siguiente análisis ANOVA:

n= número de datos. Se compara F0 con valor F crítico (tabla F de Scnedecor) con valor de significación α, 1, y n-2 grados de libertad concluyendo: Si F0< Ft, el modelo es apropiado, Si F0> Ft, el modelo utilizado no es apropiado.

1. Media cero: ${\displaystyle \operatorname {E} (\varepsilon _{i})=0}$. Para cada valor de ${\displaystyle X}$ la perturbación tomará distintos valores de forma aleatoria, pero no tomará sistemáticamente valores positivos o negativos, sino que se supone tomará algunos valores mayores que cero y otros menores que cero, de tal forma que su valor esperado sea cero.
2. Homocedasticidad: ${\displaystyle {\text{Var}}(\varepsilon _{i})=\sigma ^{2}<\infty }$ para todo ${\displaystyle i}$. Todos los términos de la perturbación tienen la misma varianza que es desconocida. La dispersión de cada ${\displaystyle \varepsilon _{t}}$ en torno a su valor esperado es siempre la misma.
3. Incorrelación o independencia: ${\displaystyle {\text{Cov}}(\varepsilon _{i},\varepsilon _{j})=0}$ para todo ${\displaystyle i\neq j}$. Las covarianzas entre las distintas pertubaciones son nulas, lo que quiere decir que no están correlacionadas. Esto implica que el valor de la perturbación para cualquier observación muestral no viene influenciado por los valores de las perturbaciones correspondientes a otras observaciones muestrales.
4. Regresores estocásticos. Los sistemas de ecuaciones simultáneas describen el comportamiento de un vector de variables endógenas en función de un vector de variables exógenas. Los regresores estocásticos surgen del hecho de que la variable endógena de una ecuación puede entrar en otra como variable explicativa.
5. Independencia lineal. No existen relaciones lineales exactas entre los regresores.
6. ${\displaystyle T>k+1}$. Suponemos que no existen errores de especificación en el modelo, ni errores de medida en las variables explicativas.
7. Normalidad de las perturbaciones: ${\displaystyle \varepsilon \sim N(0,\sigma ^{2})}$

Existen diferentes tipos de regresión lineal que se clasifican de acuerdo a sus parámetros:

El modelo de regresión lineal simple sólo está conformado por dos variables estadísticas llamadas ${\displaystyle X}$ y ${\displaystyle Y}$. Considera una única variable independiente o explicativa, ${\displaystyle X}$, y una variable dependiente o respuesta, ${\displaystyle Y}$, asumiendo que la relación entre ambas es lineal. Para la regresión lineal simple, se asume que ${\displaystyle X}$ y ${\displaystyle Y}$ se relacionan mediante la relación funcional (siendo β1 y β0 estimadores):^[3]​

${\displaystyle Y=\beta _{0}+\beta _{1}X+\varepsilon }$

donde ${\displaystyle \beta _{0},\beta _{1}\in \mathbb {R} }$ son constantes desconocidas llamadas coeficientes de regresión. β1: Se trata del cociente entre la interacción obtenida entre ambas variables y la suma de cuadrados de los valores de la variable dependiente. Este valor corresponde a la pendiente de la recta. Por su parte, β0 es el resultado de la siguiente ecuación en la que aparecen los valores medios correspondientes a ambas variables y el estimador β1 obtenido anteriormente. Este valor es la ordenada en el origen.

Dado que los parámetros ${\displaystyle \beta _{0}}$ y ${\displaystyle \beta _{1}}$ son constantes desconocidas, estas deben estimarse mediante los datos de la muestra, supóngase que se tiene ${\displaystyle n}$ datos ${\displaystyle \{x_{i},y_{i}\}_{i=1}^{n}}$, se estimarán los parámetros utilizando el método de mínimos cuadrados.

Se estiman ${\displaystyle \beta _{0}}$ y ${\displaystyle \beta _{1}}$ tal que la suma de los cuadrados de las diferencias entre las observaciones ${\displaystyle y_{i}}$ y la recta de regresión sea mínima, esto es, buscamos minimizar la función error cuadrático dada por

${\displaystyle S(\beta _{0},\beta _{1})=\sum _{i=1}^{n}\left(y_{i}-\beta _{0}-\beta _{1}x_{i}\right)^{2}}$

La función de error cuadrático ${\displaystyle S(\beta _{0},\beta _{1})}$ alcanza un mínimo en el punto ${\displaystyle \left({\hat {\beta }}_{0},{\hat {\beta }}_{1}\right)}$ tal que

${\displaystyle \left.{\frac {\partial S}{\partial \beta _{0}}}\right|_{{\hat {\beta }}_{0},{\hat {\beta }}_{1}}=\left.{\frac {\partial S}{\partial \beta _{1}}}\right|_{{\hat {\beta }}_{0},{\hat {\beta }}_{1}}=0}$

entonces derivando respecto a ${\displaystyle \beta _{0}}$ y ${\displaystyle \beta _{1}}$, evaluando en ${\displaystyle {\hat {\beta }}_{0}}$ y ${\displaystyle {\hat {\beta }}_{1}}$ e igualando a cero, obtenemos el siguiente sistema de ecuaciones

${\displaystyle {\begin{cases}\displaystyle -2\sum _{i=1}^{n}\left(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}\right)=0\\\displaystyle -2\sum _{i=1}^{n}\left(y_{i}-{\hat {\beta }}_{0}-{\hat {\beta }}_{1}x_{i}\right)x_{i}=0\end{cases}}}$

estas dos ecuaciones son conocidas como ecuaciones normales la solución de dicho sistema de ecuaciones está dada por:^[3]​

${\displaystyle {\begin{aligned}{\hat {\beta }}_{1}&={\frac {\displaystyle \sum _{i=1}^{n}x_{i}y_{i}-n{\bar {x}}{\bar {y}}}{\displaystyle \sum _{i=1}^{n}x_{i}^{2}-{\frac {1}{n}}\left(\sum _{i=1}^{n}x_{i}\right)^{2}}}\\{\hat {\beta }}_{0}&={\frac {\displaystyle \sum _{i=1}^{n}x_{i}^{2}\sum _{i=1}^{n}y_{i}-\sum _{i=1}^{n}x_{i}y_{i}\sum _{i=1}^{n}x_{i}}{\displaystyle n\sum _{i=1}^{n}x_{i}^{2}-\left(\sum _{i=1}^{n}x_{i}\right)^{2}}}={\bar {y}}-{\hat {\beta }}_{1}{\bar {x}}\end{aligned}}}$

La interpretación del parámetro medio ${\displaystyle {\beta _{1}}}$ es que un incremento en Xi de una unidad, Yi incrementará en ${\displaystyle {\beta _{1}}}$. Luego el modelo ajustado de regresión lineal simple es

${\displaystyle {\hat {y}}={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x}$

Para los casos en los que un modelo lineal no sea el más adecuado, se pueden aplicar los llamados modelos intrínsecamente lineales que transforman la recta en otro tipo de función. Un ejemplo sería la función exponencial:

${\displaystyle Y=\beta _{0}e^{\beta _{1}x}\varepsilon }$

La regresión lineal permite analizar la relación entre dos o más variables a través de ecuaciones, lo que se denomina regresión múltiple o regresión lineal múltiple.

Constantemente en la práctica de la investigación estadística, se encuentran variables que de alguna manera están relacionadas entre sí, por lo que es posible que una de las variables puedan relacionarse matemáticamente en función de otra u otras variables.

Este modelo cuenta con varias variables regresoras, por lo que cuenta con varios parámetros, para la regresión lineal múltiple, se asume que la variable de respuesta ${\displaystyle Y}$ se relaciona con las variables regresoras ${\displaystyle X_{0},X_{1},\dots ,X_{m}}$ mediante la relación funcional:^[4]​

${\displaystyle {\begin{aligned}Y&=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{m}X_{m}+\varepsilon \\&=\beta _{0}+\sum _{j=1}^{m}\beta _{j}X_{j}+\varepsilon \end{aligned}}}$

donde los parámetros ${\displaystyle \beta _{j},\forall \;j\in \{0,1,\dots ,m\}}$ son llamados coeficientes del modelo de regresión múltiple.

Supongamos que se tiene una muestra de tamaño ${\displaystyle n}$ dada por ${\displaystyle \{(x_{ij},y_{i})\}}$ con ${\displaystyle j=1,2,\dots ,m}$ donde ${\displaystyle x_{ij}}$ denota el ${\displaystyle i}$-ésimo valor observado en el regresor ${\displaystyle X_{j}}$ y ${\displaystyle y_{i}}$ denota la ${\displaystyle i}$-ésima observación de ${\displaystyle Y}$ entonces el modelo toma la forma

${\displaystyle {\begin{aligned}y_{i}&=\beta _{0}+\sum _{j=1}^{m}\beta _{j}x_{ij}+\varepsilon _{i}\\&=\beta _{0}+\beta _{1}x_{i1}+\beta _{2}x_{i2}+\cdots +\beta _{m}x_{im}+\varepsilon _{i}\end{aligned}}}$

donde ${\displaystyle \varepsilon _{i}}$ es el error asociado a la ${\displaystyle i}$-ésima medición del valor ${\displaystyle X_{j}}$ y sigue los supuestos usuales de modo que ${\displaystyle \varepsilon _{i}\sim N(0,\sigma ^{2})}$ (media cero, varianza constante e igual a ${\displaystyle \sigma ^{2}}$ y ${\displaystyle \operatorname {Cov} (\varepsilon _{i},\varepsilon _{j})=0}$ con ${\displaystyle i\neq j}$).

Para estimar los parámetros del modelo, se puede utilizar el método de mínimos cuadrados, en este caso, la función de error cuadrático está dada por

${\displaystyle {\begin{aligned}S(\beta _{0},\beta _{1},\dots ,\beta _{m})&=\sum _{i=1}^{n}\varepsilon _{i}^{2}\\&=\sum _{i=1}^{n}\left(y_{i}-\beta _{0}-\sum _{j=1}^{m}\beta _{j}x_{ij}\right)^{2}\end{aligned}}}$

la cual deseamos minimizar.

Los estimadores por mínimos cuadrados denotados por ${\displaystyle {\hat {\beta }}_{0},{\hat {\beta }}_{1},\dots ,{\hat {\beta }}_{m}}$ deben satisfacer

${\displaystyle \left.{\frac {\partial S}{\partial \beta _{j}}}\right|_{{\hat {\beta }}_{0},\dots ,{\hat {\beta }}_{m}}=0}$

para ${\displaystyle j=0,1,\dots ,m}$. Resolver este sistema con ${\displaystyle m+1}$ ecuaciones de forma analítica es complicado por lo que se recurre a escribir el modelo de regresión lineal múltiple

${\displaystyle Y=\beta _{0}+\beta _{1}X_{1}+\beta _{2}X_{2}+\cdots +\beta _{m}X_{m}+\varepsilon }$

en forma matricial como

${\displaystyle Y=X\beta +\varepsilon }$

siendo

${\displaystyle Y={\begin{pmatrix}y_{1}\\y_{2}\\\vdots \\y_{n}\end{pmatrix}}\qquad \qquad X={\begin{pmatrix}1&x_{11}&x_{12}&\cdots &x_{1m}\\1&x_{21}&x_{22}&\cdots &x_{2m}\\\vdots &\vdots &\vdots &\ddots &\vdots \\1&x_{n1}&x_{n2}&\cdots &x_{nm}\end{pmatrix}}}$

${\displaystyle \beta ={\begin{pmatrix}\beta _{0}\\\beta _{1}\\\vdots \\\beta _{m}\end{pmatrix}}\qquad \qquad \varepsilon ={\begin{pmatrix}\varepsilon _{1}\\\varepsilon _{2}\\\vdots \\\varepsilon _{n}\end{pmatrix}}}$

donde ${\displaystyle Y\in \mathbb {R} ^{n\times 1},X\in \mathbb {R} ^{n\times m+1},\beta \in \mathbb {R} ^{m+1\times 1}}$ y ${\displaystyle \varepsilon \in \mathbb {R} ^{n\times 1}}$.

En forma matricial, la función de error cuadrático puede ser escrita como

${\displaystyle {\begin{aligned}S(\beta )&=\sum _{i=1}^{n}\varepsilon _{i}^{2}\\&=\varepsilon ^{T}\varepsilon \\&=(Y-X\beta )^{T}(Y-X\beta )\end{aligned}}}$

La obtención de los estimadores se realizará resolviendo el sistema lineal de ecuaciones. Los estimadores por mínimos cuadrados deben satisfacer

${\displaystyle \left.{\frac {\partial S}{\partial \beta }}\right|_{\hat {\beta }}=\mathbf {0} }$

donde ${\displaystyle {\hat {\beta }}\in \mathbb {R} ^{m+1\times 1}}$ denota el vector que contiene a los estimadores y ${\displaystyle \mathbf {0} }$ denota un vector con ceros.

Puede verificarse que la condición anterior se reduce a

${\displaystyle X^{T}X{\hat {\beta }}=X^{T}Y}$

Si la matriz inversa ${\displaystyle (X^{T}X)^{-1}}$ existe entonces el estimador por mínimos cuadrados está dado por

${\displaystyle {\hat {\beta }}=(X^{T}X)^{-1}X^{T}Y}$

Por lo que el modelo ajustado de regresión está dado por

${\displaystyle {\begin{aligned}{\hat {y}}&=X^{T}{\hat {\beta }}\\&={\hat {\beta }}_{0}+\sum _{j=1}^{m}{\hat {\beta }}_{j}x_{j}\\&={\hat {\beta }}_{0}+{\hat {\beta }}_{1}x_{1}+\cdots +{\hat {\beta }}_{m}x_{m}\end{aligned}}}$

Al igual que en el caso anterior será necesario efectuar una comprobación de la bondad de ajuste mediante un test ANOVA.

k= número de variables. n= número de datos. p= número de grupos. Siendo estas las expresiones para el cálculo de las sumas de cuadrados:

${\displaystyle {\begin{array}{lcl}Syy&=&\displaystyle \sum _{i=1}^{n}y_{i}^{2}-{\frac {\left(\displaystyle \sum _{i=1}^{n}y_{i}\right)^{2}}{n}}=y'y-{\frac {\left(\displaystyle \sum _{i=1}^{n}y_{i}\right)^{2}}{n}}=Var(y)*(n-1)\\SS_{E}&=&y'y-{\hat {\beta }}'X'y=\displaystyle \sum _{i}e_{i}^{2}\,,\\SS_{R}&=&{\hat {\beta }}'X'y-{\frac {\left(\displaystyle \sum _{i=1}^{n}y_{i}\right)^{2}}{n}}=Syy-SS_{E}\end{array}}}$

Con el valor F crítico (valor de significación α, k, y n-p grados de libertad) correspondiente y se compara con F0 determinando la bondad del ajuste de la misma forma que en el caso de una variable.

Las rectas de regresión son las rectas que mejor se ajustan a la nube de puntos (o también llamado diagrama de dispersión) generada por una distribución conjunta. Matemáticamente, son posibles dos rectas de máximo ajuste:^[5]​

• La recta de regresión de ${\displaystyle Y}$ sobre ${\displaystyle X}$:

${\displaystyle y={\bar {y}}+{\frac {\sigma _{xy}}{\sigma _{x}^{2}}}(x-{\bar {x}})}$

• La recta de regresión de ${\displaystyle X}$ sobre ${\displaystyle Y}$:

${\displaystyle x={\bar {x}}+{\frac {\sigma _{xy}}{\sigma _{y}^{2}}}(y-{\bar {y}})}$

La correlación ("r") de las rectas determinará la calidad del ajuste. Si r es cercano o igual a 1, el ajuste será bueno y las predicciones realizadas a partir del modelo obtenido serán muy fiables (el modelo obtenido resulta verdaderamente representativo); si r es cercano o igual a 0, se tratará de un ajuste malo en el que las predicciones que se realicen a partir del modelo obtenido no serán fiables (el modelo obtenido no resulta representativo de la realidad). Ambas rectas de regresión se intersecan en un punto llamado centro de gravedad de la distribución.

El modelo de regresión lineal es aplicado en un gran número de campos, desde el ámbito científico hasta el ámbito social, pasando por aplicaciones industriales ya que en multitud de situaciones se encuentran comportamientos lineales. Estos son algunos ejemplos aplicados a diversos campos:

Una línea de tendencia representa una tendencia en una serie de datos obtenidos a través de un largo período. Este tipo de líneas puede decirnos si un conjunto de datos en particular (como por ejemplo, el PIB, el precio del petróleo o el valor de las acciones) han aumentado o decrementado en un determinado período.^[6]​ Se puede dibujar una línea de tendencia a simple vista fácilmente a partir de un grupo de puntos, pero su posición y pendiente se calcula de manera más precisa utilizando técnicas estadísticas como las regresiones lineales. Las líneas de tendencia son generalmente líneas rectas, aunque algunas variaciones utilizan polinomios de mayor grado dependiendo de la curvatura deseada en la línea.

En medicina, las primeras evidencias relacionando la mortalidad con el fumar tabaco^[7]​ vinieron de estudios que utilizaban la regresión lineal. Los investigadores incluyen una gran cantidad de variables en su análisis de regresión en un esfuerzo por eliminar factores que pudieran producir correlaciones espurias.

En el caso del tabaquismo, los investigadores incluyeron el estado socioeconómico para asegurarse que los efectos de mortalidad por tabaquismo no sean un efecto de su educación o posición económica. No obstante, es imposible incluir todas las variables posibles en un estudio de regresión.^[8]​^[9]​ En el ejemplo del tabaquismo, un hipotético gen podría aumentar la mortalidad y aumentar la propensión a adquirir enfermedades relacionadas con el consumo de tabaco. Por esta razón, en la actualidad las pruebas controladas aleatorias son consideradas mucho más confiables que los análisis de regresión.

La concentración de un elemento es uno de los parámetros de mayor importancia en los procesos químicos aplicados en la industria. Esta cuantificación se puede obtener mediante un espectrofotómetro, dispositivo que requiere se calibrado. Para ello se elabora una recta de calibración que se obtiene a partir de la correlación entre la absorbancia de un patrón y la concentración de la sustancia a controlar.^[10]​

En esta rama se utiliza la Regresión Lineal entre otros para ajustar la recta de Paris , una ecuación que sirve para estudiar elementos sometidos a fatiga en función del número de ciclos a los que se somete un material. La bondad del ajuste se comprueba representando el conjunto de valores discretos a-Nm obtenidos experimentalmente, frente a la curva correspondiente a la recta de Paris definida por los valores “C” y “m”.^[11]​

En electricidad se puede obtener el valor de una resistencia en un circuito y su error mediante un ajuste de regresión lineal de pares de datos experimentales de voltaje e intensidad obtenidos mediante un voltímetro y un amperímetro.^[12]​

Calibración de un sensor de temperatura (termopar) en función de la caída de tensión y la temperatura. Se estudia la forma en que varía la temperatura de un líquido al calentarlo. Se calibra el sensor y simultáneamente se mide la variación de temperaturas en un líquido para representar los datos obtenidos posteriormente mediante Regresión Lineal.^[13]​

Determinación del coeficiente de rozamiento estático de forma experimental a partir de la medición del ángulo de inclinación de una rampa. Se realiza un montaje ajustando un circuito para medir el ángulo de inclinación, y se realizan mediciones variando dicho. Mediante la regresión lineal de los datos obtenidos, se obtiene la ecuación y el índice de correlación a fin de saber el error.^[14]​

Dos de los parámetros más importantes de una soldadura es la intensidad aplicada al hilo y la velocidad de alimentación del mismo. Mediante técnicas de regresión lineal se elaboran las rectas que relacionan estos parámetros con la separación entre el hilo y la zona a soldar.^[15]​

Con la metodología 2k es posible mejorar un proceso mediante la realización de experimentos, determinando qué variables tienen un efecto significativo. A partir de esas variables se obtiene una recta de regresión que modeliza el efecto. Por ejemplo se podría obtener la relación entre la temperatura y la presión en un proceso industrial.^[16]​

Mediante técnicas de regresión lineal se caracterizarán diversas cualidades del hormigón. A partir del módulo de elasticidad es posible predecir la resistencia a la compresión de una determinada composición de un hormigón. También se puede determinar la succión capilar a partir del volumen absorbido por una muestra y el tiempo que ha durado la succión.^[17]​

Ejemplo en JavaScript para regresión lineal:

${\displaystyle {\begin{cases}y=a+bx&\Rightarrow &x={\cfrac {y-a}{b}}\\Encontrar\quad b&\Rightarrow &b={\cfrac {(cantidad*xy)-(x*y)}{(cantidad*xx)-(x*x)}}\\Encontrar\quad a&\Rightarrow &a={\cfrac {y-(b*x)}{cantidad}}\end{cases}}}$

/**
 * Linear regression in Javascript
 * (c) 2016, Antonio Villamarin
 * License GPL
 */

var
      xarray = [
            1, 2, 3, 4, 5
      ],
      yarray = [
            5, 5, 5, 6.8, 9
      ],
      x = y = xy = xx = a = b = resultado = 0,
      cantidad = xarray.length,
      futuro = 100;
      
for (i = 0; i < cantidad; i++) {
      console.log('Dado ' + xarray[i] + ' => ' + yarray[i]);
      x += xarray[i];
      y += yarray[i];
      xy += xarray[i]*yarray[i];
      xx += xarray[i]*xarray[i];
}

b = ((cantidad * xy) - (x * y)) / ((cantidad * xx) - (x * x));

a = (y - (b * x)) / cantidad;

if(b != 0) {
      console.log('Dado ' + futuro + ' => ' + Math.round(a + (b * futuro)));
} else {
      console.log('Dado ' + futuro + ' => Infinito');
}

Ejemplo de una rutina que utiliza una recta de regresión lineal para proyectar un valor futuro: Código escrito en PHP

<?php
//Licencia: GNU/GPL
$xarray=array(1, 2, 3, 4, 5 );	//Dias
$yarray=array(5, 5, 5, 6.8, 9); //Porcentaje de ejecucion
$pm=100; //Valor futuro
$x2=0;
$y=0;
$x=0;
$xy=0;
$cantidad=count($xarray);
for($i=0;$i<$cantidad;$i++){
      //Tabla de datos
      print ($xarray[$i]." ---- ".$yarray[$i]."<br>");
      //Calculo de terminos
      $x2 += $xarray[$i]*$xarray[$i];
      $y  += $yarray[$i];
      $x  += $xarray[$i];
      $xy += $xarray[$i]*$yarray[$i];
}
//Coeficiente parcial de regresion
$b=($cantidad*$xy-$x*$y)/($cantidad*$x2-$x*$x);
//Calculo del intercepto
$a=($y-$b*$x)/$cantidad;
//Recta tendencial
//y=a+bx
//Proyeccion en dias para un 100% de la ejecucion:
if ($b!=0) $dias_proyectados=($pm-$a)/$b;
else $dias_proyectados=999999; //Infinitos
$dp=round($dias_proyectados,0);
if($dp<=$pm) 	print $dp."---> Culmina antes de los $pm dias <br>";
if($dp >$pm) 	print $dp ."---> ALARMA: No culmina antes de los $pm dias <br>";
?>

Es también posible formar un regresor lineal en Python, utilizando la librería sklearn:^[18]​

from sklearn.linear_model import LinearRegression
# Se cargan unos datos para formar el modelo
# X = ...
# Y = ...

# Regresor lineal
modelo = LinearRegression()
# Se forma el modelo con los datos
modelo.fit(X, Y)

# Una vez ha sido formado, se puede calcular el resultado
# para una nueva entrada
Y_prediccion = modelo.predict(X)

En la práctica, con mucha frecuencia es necesario resolver problemas que implican conjuntos de variables, cuando se sabe que existe alguna relación inherente entre ellas. Por ejemplo, en un caso industrial se puede saber que la pintura, para partes automotrices, está relacionada con la cantidad de pigmentación con la que se lleva a cabo. Puede ser interesante desarrollar un método de predicción, esto, un procedimiento para estimar el contenido de pigmentación que deben de tener las pinturas para cumplir con las especificaciones de las armadoras como se muestra en la siguiente imagen de tal manera que el problema consiste en lograr la mejor estimación de la relación entre las variables.

Del ejemplo citado anteriormente, los gramos de pigmentación son la variable independiente y la resolución de pintura es la respuesta “Y”

El término regresión lineal implica “Y” esta linealmente relacionado con “X” por la ecuación de la recta:

Y=b+mX o Y=bx+c

La manera en que se representa el color en las armadoras y ensambladoras, es a través de la Figura 1, la cual muestra la combinación de todos los colores posibles.

Para nuestro análisis en cuestión el color se especifica cómo se muestra en la Tabla 1. Las especificaciones de color para los volantes de un modelo de automóvil, son las siguientes:

De esta manera se observa que las especificaciones son muy justas y cualquier ajuste equivoco de pigmentación en la pintura ocasionará, material en condiciones NG, proporcionando indicadores negativos a la empresa como pérdida de tiempo, dinero, aumento de scrap así como sus indicadores de PPMS internos y con su cliente. Haciendo una corrida amplia y manipulando el pigmento blanco se toma de lecturas de las condiciones de la pintura. Son conforme a la Tabla 2.

Estimando el valor de la pendiente “β1” (que llamaremos b) y el valor “β0” (que llamaremos a), se tiene que:

La pendiente de la recta estimada es:

                                           b = -0,468

El valor de “β0” estimados es:

                                          a = -25,44567

De tal manera que la fórmula de la recta estimada para el ejemplo de la pintura es:

                                      ${\displaystyle {\hat {Y}}}$ = -25,445-0,468. X

Y la gráfica para validar la normalidad de los errores (uno de los supuestos en los que se basa este análisis) es:

Figura 2. Gráfica de probabilidad.

De esta manera, la función de la recta a través de los mínimos cuadrados funciona e interactúa para generar una ayuda en el ámbito industrial y generar un valor probabilístico en beneficio de obtención de una similitud de operaciones.

Este método ayudara a las empresas a: • Reducción de tiempos en decisiones de procesos • Reducción de inversión de materiales en los procesos. • Generar un valor mínimo de incertidumbre en los procesos • Estandariza procesos.

La función de la recta es aplicable en el ámbito industrial al generar una regresión lineal para la obtención de un valor esperado que ayude a las compañías a tener una idea de un valor de una variable que pueden controlar en beneficio de sus procesos.

El rendimiento de una reacción química depende de la temperatura de operación y de la concentración inicial del reactivo. Efectué un análisis de regresión a los siguientes datos:

SOLUCIÓN

Aplicando las fórmulas citadas anteriormente obtendremos los resultados de todos los datos que serán necesarios para el cálculo de la Tabla ANOVA.

En primer lugar se ajustara el modelo lineal y= β0 + β 1x1+ β 2x2+ε a los datos, se realizará la estimación de los coeficientes, y obtendremos la varianza residual:

S² =1,04881

Tras esto a partir de los residuos calculados y representados en una tabla se calcula el coeficiente de determinación:

R² =0,959559

Por último se calculan las varianzas asociadas a cada uno de los estimadores de los parámetros:

Tras esto ya podemos calcular y representar los resultados en la Tabla ANOVA. La significación global del ajuste se presenta en la Tabla E52.3:

Al comparar Fo con el F0.05, 2, 5 puede concluirse que el modelo es significativo y que al menos un bi es distinto de cero. La significancia del efecto de cada Xi se probara a partir de la prueba 1, basada en una prueba “t”, dicho análisis se presenta a continuación:

Al comparar el to asociado a cada bi con la t0.025,5 puede observarse que los efectos tanto de la temperatura como de la concentración son significativos a un nivel de confianza del 95%. El modelo ajustado es por tanto:

Y = 39.75 + 3.0 . X concentración + 0.25 . X temperatura

La validación del modelo se haría en base al análisis de los residuos, a través de los siguientes gráficos:

• gráfico de probabilidad normal de los residuos
• gráfico de los residuos frente a los valores predichos
• gráficos de los residuos frente a cada variable

Un análisis de los gráficos de los residuos contra las variables concentración y temperatura permitirá concluir si el factor concentración presenta un efecto muy importante sobre la variabilidad del rendimiento, en función de si una mayor concentración reduce la variabilidad en cuanto al rendimiento de la reacción química.

• Homoscedasticidad
• Regresión logística
• Modelos de regresión múltiple postulados y no postulados
• Regresión segmentada
• Econometría
• Mínimos cuadrados
• Regularización de Tikhonov
• Cuarteto de Anscombe
• Capital Asset Pricing Model
• Regresión simple

• Canavos, George C.; Probabilidad y Estadística. Aplicaciones y Métodos. McGraw-Hill. México. ISBN 9684518560.
• Devore, Jay L.; Probabilidad y Estadística para Ingeniería y Ciencias. International Thomson Editores. México. ISBN 9706864571.
• Walpole, Ronald E.; Raymond, H.; Myers, Sharon L.; Probabilidad y Estadística para Ingenieros. Prentice-Hall Hispanoamericana, S.A. México. ISBN 9701702646.

• Cálculo de regresiones lineales en línea. (en inglés)
• ZunZun.com Ajuste de curvas y superficies en línea. (en inglés)
• xuru.org Archivado el 20 de febrero de 2008 en Wayback Machine. Herramientas de regresión lineal en línea. (en inglés)
• [1] (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última). Simulación de la recta de regresión de una variable bidimensional continua con R (lenguaje de programación)