Теорія оцінювання — це галузь статистики, яка вивчає способи оцінювання значень параметрів на основі емпіричних/виміряних даних, що мають випадкову складову. Ці параметри описують належне фізичне середовище таким чином, що їхні значення впливають на розподіл виміряних даних. Статистична оцінка дозволяє оцінити ці невідомі параметри на основі даних вимірювань.
Наприклад, необхідно оцінити частину сукупності виборців, які голосуватимуть за певного кандидата. Це співвідношення є шуканим параметром; оцінка ґрунтується на невеликій випадковій вибірці людей, що голосують.
Або, наприклад, задача радара полягає в тому, щоб оцінити віддаленість об'єктів (літаків, човнів тощо) шляхом аналізу часу двобічного проходження отриманих віддзеркалень переданих імпульсів. Оскільки відбиті імпульси неминуче включатимуться в електричний шум, їхні виміряні значення матимуть випадковий розподіл, тому цю тривалість проходження потрібно оцінювати.
У теорії статистичного оцінювання зазвичай розглядають два основні підходи:[1]
Ймовірнісний підхід ґрунтується на припущенні, що вимірювані дані є випадковими і мають деякий розподіл ймовірностей, що залежить від параметрів, які необхідно знайти
Множинний підхід[en] ґрунтується на припущенні, що виміряний вектор даних належить до множини, що залежить від вектора параметрів.
Наприклад, в теорії електросигналів вимірювання, що містять інформацію про шукані параметри, часто пов'язані із зашумленимсигналом. Без наявності випадковості, або шуму, задача була би детермінованою, і оцінювання не було би потрібним.
Приклади
Наприклад, бажано оцінити частку населення виборців, яке проголосує за конкретного кандидата. Ця пропорція — шуканий параметр; оцінка базується на невеликій випадковій вибірці виборців. Як альтернативу бажано оцінити ймовірність голосування виборців за конкретного кандидата, виходячи з деяких демографічних особливостей, таких як вік.
Або, наприклад, у радіолокації метою є пошук діапазону об'єктів (літаки, катери тощо) шляхом аналізу двостороннього часу транзиту прийнятих відлунь переданих імпульсів. Оскільки відбиті імпульси неминуче вбудовуються в електричний шум, їх виміряні значення випадковим чином розподіляються так, що час проходження потрібно оцінити.
Іншим прикладом у теорії електричного зв'язку можуть бути вимірювання, що містять інформацію щодо цікавих параметрів, які часто пов'язано з шумнимсигналом.
Основи
Щоб оцінювач могло бути втілено, для заданої моделі потрібно кілька статистичних «складових». Першим з них є статистична вибірка — набір точок даних, взятих із випадкового вектора (RV) розміру N. Покласти до вектору,
Після формування моделі мета полягає в оцінці параметрів, причому оцінки зазвичай позначають через , де «капелюх» означає оцінку.
Одним із загальних оцінювачів є оцінювач мінімальної середньоквадратичної похибки[en] (МСКП), який використовує похибку між оцінюваними параметрами та фактичним значенням параметрів
як основу для оптимальності. Потім цей член похибки подносять до квадрату, а очікуване значення цього квадрату мінімізують для оцінювача МСКП.
Беремо першу похідну функції логарифмічної правдоподобності
і встановлюємо її в нуль
Це дає оцінку максимальної ймовірності
Що є просто середнім значенням вибірки.
З цього прикладу було встановлено, що середнє значення вибірки є оцінювачем максимальної правдоподібності для зразків фіксованого, невідомого параметра, спотвореного АБГШ.
Одним з найпростіших нетривіальних прикладів оцінки є оцінка максимуму рівномірного розподілу. Його використовують як практичну вправу в класних заняттях, та для ілюстрування основних принципів теорії оцінювання. Далі, у випадку оцінки на основі одного зразку, вона демонструє філософські проблеми та можливі непорозуміння при використанні оцінювачів максимальної ймовірності та функцій правдоподібності.
а отже, стандартне відхилення приблизно , середній (за сукупністю) розмір розриву між зразками; порівняйте з вище. Це можливо розглядати як дуже простий випадок максимально-інтервальної оцінки[en].
Вимірювані дані можуть бути схильні до шуму або невизначеності, і саме через статистичну ймовірність шукають оптимальні рішення для витягування якнайбільше інформації з даних.
↑Максимум вибірки ніколи не перевищує максимум сукупності, але може бути і меншим, отже, це зміщений оцінювач: він буде схильним недооцінювати максимум сукупності.
Джерела
↑
Вальтер, E.; Пронзато, Л. (1997). Ідентифікація параметричних моделей за експериментальним даними. Лондон, Англія: Springer-Verlag.
В. Г. Войнов, М. С. Нікулін, «Безсторонні оцінювачі та їх застосування. Т.1: Одновимірний випадок», Kluwer Academic Publishers, 1993, ISBN 0-7923-2382-3.
В. Г. Войнов, М. С. Нікулін, « Безсторонні оцінювачі та їх застосування. Т.2: Багатовимірний випадок», Kluwer Academic Publishers, 1996, ISBN 0-7923-3939-8.
![{\displaystyle \mathbf {x} ={\begin{bmatrix}x[0]\\x[1]\\\vdots \\x[N-1]\end{bmatrix}}.}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3e73cc498b4c467a2b8efe9650edf8930df68d7f)
![{\displaystyle x[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/864cbbefbdcb55af4d9390911de1bf70167c4a3d)
![{\displaystyle w[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/2a4e3e5afc2a8c6da9020b8c6b21450959101a18)
![{\displaystyle x[n]=A+w[n]\quad n=0,1,\dots ,N-1}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e1d88a9335e74132ddc42f3f9845e4b3a6eeb0a1)
![{\displaystyle {\hat {A}}_{1}=x[0]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/7efe6653cd0810309227e87ae4e1506100c0ef98)
![{\displaystyle {\hat {A}}_{2}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/0037a0e52e042f684bc642f133818d8106fc2a62)
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{1}\right]=\mathrm {E} \left[x[0]\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/e8eea7a9306f8e8ad9ec4eba1e66d6c3b680a791)
![{\displaystyle \mathrm {E} \left[{\hat {A}}_{2}\right]=\mathrm {E} \left[{\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right]={\frac {1}{N}}\left[\sum _{n=0}^{N-1}\mathrm {E} \left[x[n]\right]\right]={\frac {1}{N}}\left[NA\right]=A}](https://wikimedia.org/api/rest_v1/media/math/render/svg/38009589e38e8b364cbf62318a2c067de3d5c02f)
![{\displaystyle \mathrm {var} \left({\hat {A}}_{1}\right)=\mathrm {var} \left(x[0]\right)=\sigma ^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/d5bfcf819ea5feb58537ac1b60805a06aa6ef62d)
![{\displaystyle \mathrm {var} \left({\hat {A}}_{2}\right)=\mathrm {var} \left({\frac {1}{N}}\sum _{n=0}^{N-1}x[n]\right){\overset {\text{independence}}{=}}{\frac {1}{N^{2}}}\left[\sum _{n=0}^{N-1}\mathrm {var} (x[n])\right]={\frac {1}{N^{2}}}\left[N\sigma ^{2}\right]={\frac {\sigma ^{2}}{N}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/64faf0ad6355943d35e9d8fbaf3252700ca51527)
![{\displaystyle p(w[n])={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}w[n]^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6afa77b39956d597a829a9d79c9e00382d3599f9)
![{\displaystyle p(x[n];A)={\frac {1}{\sigma {\sqrt {2\pi }}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/6dadba5522e55e1280ff3d724a17b3fb6be9d629)
![{\displaystyle p(\mathbf {x} ;A)=\prod _{n=0}^{N-1}p(x[n];A)={\frac {1}{\left(\sigma {\sqrt {2\pi }}\right)^{N}}}\exp \left(-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}\right)}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3f2ece3340c919b3f79fd607bf9dad576368a439)
![{\displaystyle \ln p(\mathbf {x} ;A)=-N\ln \left(\sigma {\sqrt {2\pi }}\right)-{\frac {1}{2\sigma ^{2}}}\sum _{n=0}^{N-1}(x[n]-A)^{2}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/cfd2fb56c98155b49d5e330ea4db342ee0b6de2e)
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}(x[n]-A)\right]={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8a674d68209284a5a9468459f08aa06057c5c01d)
![{\displaystyle 0={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]=\sum _{n=0}^{N-1}x[n]-NA}](https://wikimedia.org/api/rest_v1/media/math/render/svg/541b7836252bb44ad16ad11bf3d1a5a77057cf29)
![{\displaystyle {\hat {A}}={\frac {1}{N}}\sum _{n=0}^{N-1}x[n]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3c08685bf87326e0644e61bb668cb63f20555181)
![{\displaystyle {\mathcal {I}}(A)=\mathrm {E} \left(\left[{\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)\right]^{2}\right)=-\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/30658c2e05e79e5421f7238bef6c345709512a9e)
![{\displaystyle {\frac {\partial }{\partial A}}\ln p(\mathbf {x} ;A)={\frac {1}{\sigma ^{2}}}\left[\sum _{n=0}^{N-1}x[n]-NA\right]}](https://wikimedia.org/api/rest_v1/media/math/render/svg/4a63946819cd04e4f699945d43d31f4c3cfdfb4b)
![{\displaystyle -\mathrm {E} \left[{\frac {\partial ^{2}}{\partial A^{2}}}\ln p(\mathbf {x} ;A)\right]={\frac {N}{\sigma ^{2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/96435e2d46975d62eb7267464a6029593ba07ad1)
