Частина з циклу Статистика
Регресійний аналіз
Моделі
Лінійна регресія Проста лінійна регресія Звичайні найменші квадрати[en] Поліноміальна регресія Загальна лінійна модель
Узагальнена лінійна модель[en] Дискретний вибір Логістична регресія Поліноміальний логіт[en] Змішаний логіт[en] Пробіт[en] Поліноміальний пробіт[en] Впорядкований логіт[en] Впорядкований пробіт[en] Пуассон
Багаторівнева модель[en] Фіксовані рівні факторів[en] Випадкові рівні факторів[en] Змішана модель
Нелінійна регресія[en] Непараметрична[en] Напівпараметрична[en] Робастна[en] Квантильна[en] Ізотонічна[en] Головні компоненти[en] Найменші кути[en] Локальна[en] Сегментована[en]
Похибки вимірювань[en]
Оцінка
Найменші квадрати Звичайні найменші квадрати[en] Лінійні[en] Частинні[en] Повні[en] Узагальнені[en] Зважені[en] Нелінійні[en] Невід'ємні[en] Ітеративно перезважувані[en] Регуляризація Тихонова
Найменших модулів[en] Баєсова Баєсова багатовимірна[en]
Підґрунтя
Перевірка регресійних моделей[en] Середній та передбачуваний відгук[en] Похибки та залишки Допасованість Студентизований залишок Теорема Гаусса — Маркова
п о р

У статистиці, простою лінійною регресією є лінійна регресійна модель з однією незалежною змінною.^[1][2][3][4] Тобто, її розглядають у двовимірному просторі вибірки, утвореному однією незалежною змінною та однією залежною змінною (зазвичай х і у — координати в декартовій системі координат). Модель призначена для знаходження лінійної функції (не вертикальною прямої) залежності, яка якомога точніше прогнозує значення залежної змінної як функції незалежної змінної. Прикметник простий вказує на залежність залежної змінної від одного предиктора.

Далі в статті вважатимемо, що використовується звичайна регресія отримана методом найменшого квадратичного відхилення. У цьому випадку, нахил (кутовий коефіцієнт прямої) цієї прямої дорівнює кореляції між y і x скоригований на коефіцієнти стандартних відхилень цих змінних. Точка перетину отриманої лінії проходить через центр мас (x, y) даного набору точок.

Припустимо, що є n точок {(x_i, y_i), i = 1, …, n}. Функція, яка описує зв'язок х і y записується:

${\displaystyle y_{i}=\alpha +\beta x_{i}+\varepsilon _{i}.}$

Завдання полягає в тому, щоб знайти рівняння прямої лінії

${\displaystyle y=\alpha +\beta x,}$

яка б забезпечувала «найкращий» допасування наявних точок даних. Тут під «найкращий» розуміємо в сенсі найменшого квадратичного відхилення: лінія, що мінімізує суму квадратів похибок лінійної регресійної моделі. Іншими словами, α (перетин з віссю y) і β (нахил) є розв'язком наступної задачі мінімізації:

${\displaystyle {\text{Find }}\min _{\alpha ,\,\beta }Q(\alpha ,\beta ),\qquad {\text{for }}Q(\alpha ,\beta )=\sum _{i=1}^{n}\varepsilon _{i}^{\,2}=\sum _{i=1}^{n}(y_{i}-\alpha -\beta x_{i})^{2}\ }$

Просто розкриваючи дужки у виразі отримуємо квадратичний вираз відносно α і β, можна показати, що значення α і β, які мінімізують цільову функцію Q^[5] записуються формулами:

${\displaystyle {\begin{aligned}{\hat {\beta }}&={\frac {\sum _{i=1}^{n}(x_{i}-{\bar {x}})(y_{i}-{\bar {y}})}{\sum _{i=1}^{n}(x_{i}-{\bar {x}})^{2}}}\\[6pt]&={\frac {\sum _{i=1}^{n}(x_{i}y_{i}-x_{i}{\bar {y}}-{\bar {x}}y_{i}+{\bar {x}}{\bar {y}})}{\sum _{i=1}^{n}(x_{i}^{2}-2x_{i}{\bar {x}}+{\bar {x}}^{2})}}\\[6pt]&={\frac {\sum _{i=1}^{n}(x_{i}y_{i})-{\bar {y}}\sum _{i=1}^{n}x_{i}-{\bar {x}}\sum _{i=1}^{n}y_{i}+n{\bar {x}}{\bar {y}}}{\sum _{i=1}^{n}(x_{i}^{2})-2{\bar {x}}\sum _{i=1}^{n}x_{i}+n{\bar {x}}^{2}}}\\[6pt]&={\frac {{\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}-{\bar {x}}{\bar {y}}}{{\frac {1}{n}}\sum _{i=1}^{n}{x_{i}^{2}}-{\overline {x}}^{2}}}\\[6pt]&={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{{\overline {x^{2}}}-{\bar {x}}^{2}}}={\frac {\operatorname {Cov} [x,y]}{\operatorname {Var} [x]}}\\&=r_{xy}{\frac {s_{y}}{s_{x}}},\\[6pt]{\hat {\alpha }}&={\bar {y}}-{\hat {\beta }}\,{\bar {x}},\end{aligned}}}$

де r_xy — коефіцієнт кореляції між x і y; а s_x і s_y — це стандартні відхилення x і y. Горизонтальна риска над величиною вказує середнє значення цієї величини. Наприклад:

${\displaystyle {\overline {xy}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}y_{i}.}$

Підставляючи вирази ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$ в

${\displaystyle f={\hat {\alpha }}+{\hat {\beta }}x,}$

маємо

${\displaystyle {\frac {f-{\bar {y}}}{s_{y}}}=r_{xy}{\frac {x-{\bar {x}}}{s_{x}}}}$

Це показує, що r_xy — нахил регресійної лінії для стандартизованих точок вибірки (і ця лінія проходить через початок координат).

Іноді корисно вираховувати r_xy даних з інших причин, використовуючи формулу:

${\displaystyle r_{xy}={\frac {{\overline {xy}}-{\bar {x}}{\bar {y}}}{\sqrt {\left({\overline {x^{2}}}-{\bar {x}}^{2}\right)\left({\overline {y^{2}}}-{\bar {y}}^{2}\right)}}}}$

Коефіцієнт детермінації (R-квадрат) дорівнює ${\displaystyle r_{xy}^{2}}$, коли маємо справу з лінійною моделлю з однією незалежною змінною. Докладніше в статті про коефіцієнт кореляції вибірки.

1. Регресійна лінія проходить через центр мас точок, ${\displaystyle ({\bar {x}},\,{\bar {y}})}$, якщо модель включає в себе вільний член (тобто, не пересунена в початок координат)
2. Сума похибок дорівнює нулю, якщо модель включає в себе вільний член:

${\displaystyle \sum _{i=1}^{n}{\hat {\varepsilon }}_{i}=0.}$

1. Значення похибок і x некорельовані, тобто (не залежно від того чи присутній в моделі вільний член):

${\displaystyle \sum _{i=1}^{n}x_{i}{\hat {\varepsilon }}_{i}\;=\;0}$

Знайдемо ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$ які мінімізують суму квадратичних похибок (СКП):

${\displaystyle \min _{{\hat {\alpha }},{\hat {\beta }}}\,\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\equiv \min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)^{2}}$

Щоб знайти мінімум, візьмемо частинні похідні по ${\displaystyle {\hat {\alpha }}}$ і ${\displaystyle {\hat {\beta }}}$

${\displaystyle {\begin{aligned}&{\frac {\partial }{\partial {\hat {\alpha }}}}\left(\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\right)=-2\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}\left(y_{i}-{\hat {\alpha }}-{\hat {\beta }}x_{i}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}y_{i}=\sum _{i=1}^{n}{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&\sum _{i=1}^{n}y_{i}=n{\hat {\alpha }}+{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&{\frac {1}{n}}\sum _{i=1}^{n}y_{i}={\hat {\alpha }}+{\frac {1}{n}}{\hat {\beta }}\sum _{i=1}^{n}x_{i}\\\Rightarrow {}&{\bar {y}}={\hat {\alpha }}+{\hat {\beta }}{\bar {x}}\end{aligned}}}$

Перед взяттям частинної похідно по ${\displaystyle {\hat {\beta }}}$, підставимо попередній результат для ${\displaystyle {\hat {\alpha }}}$.

${\displaystyle \min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left[y_{i}-\left({\bar {y}}-{\hat {\beta }}{\bar {x}}\right)-{\hat {\beta }}x_{i}\right]^{2}=\min _{{\hat {\alpha }},{\hat {\beta }}}\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]^{2}}$

Тепер візьмемо похідну по ${\displaystyle {\hat {\beta }}}$:

${\displaystyle {\begin{aligned}&{\frac {\partial }{\partial {\hat {\beta }}}}\left(\operatorname {SSE} \left({\hat {\alpha }},{\hat {\beta }}\right)\right)=-2\sum _{i=1}^{n}\left[\left(y_{i}-{\bar {y}}\right)-{\hat {\beta }}\left(x_{i}-{\bar {x}}\right)\right]\left(x_{i}-{\bar {x}}\right)=0\\\Rightarrow {}&\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)-{\hat {\beta }}\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}=0\\\Rightarrow {}&{\hat {\beta }}={\frac {\sum _{i=1}^{n}\left(y_{i}-{\bar {y}}\right)\left(x_{i}-{\bar {x}}\right)}{\sum _{i=1}^{n}\left(x_{i}-{\bar {x}}\right)^{2}}}={\frac {\operatorname {Cov} (x,y)}{\operatorname {Var} (x)}}\end{aligned}}}$

І, нарешті, підставимо ${\displaystyle {\hat {\beta }}}$ у вираз для визначення ${\displaystyle {\hat {\alpha }}}$

${\displaystyle {\hat {\alpha }}={\bar {y}}-{\hat {\beta }}{\bar {x}}}$

• Лінійна регресія

• Карташов М. В. Імовірність, процеси, статистика. — Київ : ВПЦ Київський університет, 2007. — 504 с.