Метод максимальної правдоподібності

 

Нехай  - вибірка із розподілом , що залежить від параметра  Параметр  невідомий і його необхідно оцінити за вибіркою .

Означення. Функцією максимальної правдоподібності вибірки  будемо називати функцію  параметра , що визначається рівністю , , якщо вибірковий вектор  абсолютно неперервний зі щільністю  і рівністю , , якщо вибірковий вектор  дискретний з розподілом .

Метод максимальної правдоподібності побудови оцінок полягає в тому, що за оцінку параметра  вибирається точка , в якій функція максимальної правдоподібності  досягає найбільшого значення.

Означення. Оцінкою максимальної правдоподібності будемо називати точку , в якій функція максимальної правдоподібності досягає найбільшого значення.

Іншими словами, оцінкою максимальної правдоподібності параметра  будемо називати відмінні від константи розв’язки рівняння

 

,

 

якщо такі розв’язки існують. Корені, які не залежать від вибірки , тобто мають вигляд , де  - константа, слід відкинути (оцінка - це функція вибірки).

Логарифм  від функції максимальної правдоподібності  називають логарифмічною функцією максимальної правдоподібності.

Зазначимо, що функції  та  досягають найбільшого значення в одній і тій самій точці. А відшукати точку, в якій функція  досягає найбільшого значення, часто зручніше.

Якщо функція  диференційована по , то для того щоб розв’язати рівняння

 

 (1.3.1)

 

достатньо знайти стаціонарні точки функції

 

,

 

розв’язуючи рівняння

 

 

і, порівнюючи значення функції  у стаціонарних точках і на межі множини , вибрати точку , в якій функція , досягає найбільшого значення. Ця точка і буде розв’язком рівняння (1.3.1).

Рівняння

 

 

називають рівняннями максимальної правдоподібності.

Метод найменших квадратів.

Нехай  - незалежні нормально розподілені випадкові величини з однаковою дисперсією

 

 

та середніми  лінійними по параметру :

 

 

де  - відомі, не випадкові величини, а  - невідомі параметри, які слід оцінити. Кожну випадкову величину  можна представити:

 

 

де  - похибки спостережень та вони всі різні. Відносно  припускається:

1)  - незалежні випадкові величини, ;

2) ;

3) , ,  - не корельовані (це означає, що  та  не пов’язані між собою лінійною залежністю).

 

;

 

4) ~ .

МНК - оцінкою параметрів  називають точку , в якій функція

 

 

досягає мінімального значення.

Диференціюємо цю функцію за параметрами :

 

,

.

 

Прирівнюємо похідні нулеві:

 

 

Розглянемо систему рівнянь:

 

 

Виразимо з цієї системи параметри :

 

,

,

,

,

.

 

Отже МНК - оцінками параметрів  є

 

,

.

Розділ ІІ. Парадокси в математичній статистиці

Парадокс оцінок математичного сподівання

Історія парадоксу

Зрівнювання протилежних значень і відхилень в "середньому", тобто підсумовування спостережень до одного значення має давні традиції. Есхіл писав у трагедії "Евменіди": "Богу завжди середина люб'язна, і міру поважає божество", а послідовники китайського філософа Конфуція говорять, що "у нерухомості середнього є найбільша досконалість". Поняття "середнього" можна інтерпретувати в різний спосіб (середнє арифметичне, середнє геометричне, медіана і т. ін). Але у практичних застосуваннях протягом тривалого часу вкрай важливу роль відігравало середнє арифметичне. Вже в перших результатах теорії ймовірностей і математичної статистики вивчалося середнє арифметичне вибірки.

Парадокс

Нехай  - реалізація вибірки  з розподілу . Розподіл  залежить від параметра , що набуває значень з деякої множини можливих значень . Значення параметра  в розподілі  невідомо, і його необхідно оцінити за реалізацією  вибірки .

Якщо за розподіл  обрати нормальний розподіл , то оцінка

 

 

незміщена, спроможна, ефективна оцінка для параметра . Для розподілу ж , відмінного від нормального, оцінка  не є незміщеною оцінкою з найменшою дисперсією.

У цьому і полягає парадокс оцінки математичного сподівання.

                                 2.1.3 Пояснення парадоксу

Нехай  - вибірка з нормального розподілу з параметрами . Порахуємо математичне сподівання оцінки :

 

 

тому  - незміщена оцінка для параметра .

З’ясуємо, чи є спроможною оцінкою параметра , тобто чи збігається  за ймовірністю до . Для досить малих  маємо:

 

 

в силу закону великих чисел. Останнє означає, що  є спроможною оцінкою параметра .

Покажемо, що  незміщена оцінка з найменшою дисперсією:

 

.

 

Умова обертання нерівності Крамера - Рао (дивитися підрозділ 1.2) в рівність говорить, що якщо статистика , така, що

 

 

де  - щільність розподілу вибірки , то  - незміщена й ефективна оцінка параметра .

Обчислимо :

 

= = = =

= = = =

= = =  =

=  = ,

 

тому  - ефективна оцінка для параметра .

Розглянемо сім’ю розподілів  на , які залежать від параметра  і задаються щільністю , .

Кількість інформації за Фішером визначимо

 

. (2.1.3.1)

 

За умов, що  ми вважаємо, що підінтегральний вираз дорівнює нулеві. Отже,

 

 

Теорема 2.1.3.1 (Каган, Лінник, Рао) [ 1] У класі щільностей ,  зі скінченою дисперсією , що задовольняють умови

1.  - неперервно-диференційована функція. (2.1.3.2)

2.  при  (2.1.3.3)

нерівність Крамера-Рао обертається на рівність на гауссівському розподілі.

Доведення. Будемо вважати, що

Позначимо множину точок , для яких  через .

Оскільки  неперервна, то  - відкрита множина, і отже,  можна подати як об’єднання відкритих інтервалів, що не перетинаються:

 

.

 

Інтегрування за частинами дає

 

,

.

 

Звідси . (2.1.3.4)

Скористаємось нерівністю Коші - Буняковського для інтегралів

 

.

 

Позначимо

 

, .

 

Тоді з (2.1.3.4) маємо

 

.

 

Отже,

 

,

.

 

При цьому знак рівності досягається тоді й тільки тоді, коли при деякій постійній

 

.

 

Знайдемо щільність  з рівності:

 

. (2.1.3.5)

 

Розв’язуючи диференціальне рівняння маємо:

 

.

 

Для знаходження сталих  скористаємося тим, що  (інтеграл від щільності дорівнює 1),  (математичне сподівання дорівнює 0),  (дисперсія скінчена і дорівнює ).

Розв'язуючи рівняння:

 

 

Знаходимо

 

 

Отже, маємо щільність нормального розподілу з параметрами :

 

.

 

Теорема доведена.

Зауваження 1. Нерівність Крамера - Рао (1.2.1) в теоремі набуває вигляду .

Дійсно, згідно з наслідком 3 з теореми (нерівність Крамера - Рао)

 

 

Порахуємо :

 

 

Підставляємо  в нерівність:

 

або,

,

або,

 

Зауваження 2. З одного боку

 

 

З іншого боку

 

.

 

Знак рівності в нерівності Крамера - Рао досягається тоді й тільки тоді, коли

 

,

або,

або,

 

В частинному випадку для щільності ,  розподілу  маємо

 

Парадокс Байєса

Історія парадоксу

Томас Байєс, учень де Муавра, є одним з видатних засновників математичної статистики. Його теорема, доведена близько 1750 р. і опублікована лише після його смерті, стала джерелом деяких суперечок в статистиці. Вони не припинилися й досі. Більш того, теоретична прірва між послідовниками байєсівського й антибайєсівського підходів продовжує збільшуватися. Сформулюємо теорему Байєса.

Нехай  та  - довільні події, які мають імовірності  та  відповідно. Позначимо через  ймовірність перетину подій  та ,  - умовна імовірність події , якщо відомо, що подія  відбулася. Якщо події  - утворюють повну групу подій, тобто

1)  - попарно неперетинні ( ),

2) ,

То

 

, ,

 

Остання формула називається формулою Байєса. Вона показує, як за апріорними ймовірностями  подій (імовірностями подій  відомими до того, як подія  відбулася) знайти апостеріорні ймовірності подій  (ймовірності подій  після того, як подія  відбулася).

Сама теорема безперечна, але в більшості її застосувань апріорні імовірності  невідомі. В цьому випадку, як правило, вважають, що, оскільки відсутня попередня інформація про події , то усі ймовірності  рівні, але такий підхід, взагалі кажучи, неприйнятний.

Байєс використовував свою теорему у випадках, коли апріорні імовірності  були випадковими величинами, зокрема, рівномірно розподіленими на інтервалі .

Нехай  - випадкова величина зі щільністю

 

.

 

Позначимо через  - подію, яка полягає у тому, що у  випробовуваннях Бернуллі подія  відбулась  разів, при цьому ймовірність події  дорівнює .

Умовна щільність випадкової величини  дорівнює

 

 (2.2.1 1)

 

Де  - це умовна ймовірність події  за умов, що  набуло значення  дорівнює

 

. Тоді

 (2.2.1 2)

 

І ймовірність того, що  дорівнює

 

. (2.2.1 3)

 

Байєс висунув ідею про те, що якщо ми не маємо ніякої попередньої інформації про , апріорна щільність випадкової величини  рівномірна на усьому інтервалі . Наприклад, якщо , , , , то за наведеною вище формулою (2.2.1 3), імовірність того, що  більше , дорівнює . Дійсно,

 

 

Не всі довіряють цьому результату, зокрема, тому, що мають сумніви щодо рівномірності апріорного розподілу.

Незнання апріорного розподілу виявилось настільки руйнівним для обґрунтування статистичних виводів з теореми Байєса, що ця теорема була майже виключена зі статистичних досліджень. Але в другій третині ХХ століття байєсівський підхід знову здобув розвитку, завдяки важливій ролі, яку він відіграє при пошуку допустимих та мінімаксних оцінок. Все більш розповсюджувалась точка зору про те, що послідовне застосування формули Байєса (коли після кожного експерименту апостеріорні ймовірності переоцінюють і на наступному кроці вони використовуються як апріорні імовірності) знижує роль вихідного апріорного розподілу, оскільки після багаторазового переоцінювання вихідний апріорний розподіл не впливає на заключний апостеріорний розподіл.

(Очевидно, що деякі випадки не розглядаються, наприклад, коли значення  дорівнює , а апріорний розподіл рівномірний на відрізку , що не містить точку ).

Парадокс

Нехай можливими значеннями випадкової величини  є цілі числа. Припустимо, що ймовірнісний розподіл залежить від параметру , який належить відрізку . Якщо вибірка  здобута з невідомого розподілу  (розподілу з невідомим параметром ), то послідовність апостеріорних розподілів (які обчислені за вихідним апріорним розподілом)

 

.

 

концентрується навколо істинного значення невідомого параметра .

Парадоксально, але це не завжди вірно. Наприклад, істинне значення параметра  може дорівнювати , а послідовність апостеріорних розподілів (при збільшенні числа спостережень ) все більше зосереджується, наприклад, біля .

 

Пояснення парадоксу

Парадоксальність ситуації полягає в тому, що очікується, що функція апостеріорної щільності буде набувати найбільше значення в околі істинного значення , тобто поблизу . Однак це міркування не суперечить тому, що функції апостеріорної щільності можуть усе більш зосереджуватись поблизу . Якщо число можливих значень величини  скінченне, то такий випадок неможливий, але коли значеннями  можуть бути будь-які цілі числа, парадоксальна ситуація може відбутися.

Нехай апріорний розподіл параметра  рівномірний на відрізку . Визначимо функцію  на цьому відрізку таким чином, що значеннями  завжди є натуральні числа, за виключенням точок  та , де . Нехай розподіл випадкової величини  (який залежить від ) має вигляд

 

,

 

де  є константою, для якої

 

.

 

При відповідному виборі  вказана вище парадоксальна ситуація здійснена. [5]

Найбільшого розповсюдження набули три точкові оцінки параметра .

1. Мода. Оцінка  параметра  обирається виходячи з максимуму апостеріорної щільності, тобто

 

 (2.2.3.1)

 

2. Медіана. Оцінка  параметра  обирається виходячи з рівності

 

,

або

 

3. Середнє. Оцінка  параметра  обирається як математичне сподівання