Навігація
Головна
 
Головна arrow Економіка arrow Економетрика
< Попередня   ЗМІСТ   Наступна >

Метод максимальної правдоподібності

Метод максимальної правдоподібності (ММП) є одним з найбільш широко використовуваних методів в статистиці і економетрики. Для його застосування необхідно знання закону розподілу досліджуваної випадкової величини.

Нехай є деяка випадкова величина У з заданим законом розподілу ДУ). Параметри цього закону невідомі і їх потрібно знайти. У загальному випадку величину Y розглядають як багатовимірну, тобто що складається з декількох одновимірних величин У1, В2, В3 ..., У.

Припустимо, що У - одномірна випадкова величина і її окремі значення є числами. Кожне з них (У], у 2, у3, ..., у ") розглядається як реалізація не однієї випадкової величини У, а η випадкових величин У1; В2, В3 ..., У ". Тобто:

уj - реалізація випадкової величини У];

у2 - реалізація випадкової величини У2;

уз - реалізація випадкової величини У3;

у "- реалізація випадкової величини У".

Параметри закону розподілу вектора У, що складається з випадкових величин Y b Y 2, У3, У ", представляють як вектор Θ, що складається з до параметрів: θχ, θ2, в к. Величини Υ ν Υ 2, У3, ..., Υ η можуть бути розподілені як з однаковими параметрами, так і з різними; деякі параметри можуть збігатися, а інші відрізнятися. Конкретну відповідь на це питання залежить від того завдання, яке вирішує дослідник.

Наприклад, якщо стоїть завдання визначення параметрів закону розподілу випадкової величини У, реалізацією якої є величини У1; В2, В3, У, "то припускають, що кожна з цих величин розподілена так само, як величина У. Інакше кажучи, будь-яка величина У, • описується одним і тим же законом розподілу / (У, •), причому з одними і тими ж параметрами Θ: θχ, θ2, ..., д к.

Інший приклад - знаходження параметрів рівняння регресії. У цьому випадку кожна величина У, розглядається як випадкова величина, що має "власні" параметри розподілу, які можуть частково збігатися з параметрами розподілу інших випадкових величин, а можуть і повністю відрізнятися. Більш докладно застосування ММП для знаходження параметрів рівняння регресії буде розглянуто нижче.

В рамках методу максимальної правдоподібності сукупність наявних значень У], у2, у3, ..., у "розглядається як деяка фіксована, незмінна. Тобто закон / (У;) є функція від заданої велічіниу, і невідомих параметрів Θ. Отже, для п спостережень випадкової величини У мається п законів / (У;).

Невідомі параметри цих законів розподілу розглядаються як випадкові величини. Вони можуть змінюватися, проте доданому наборі значень уі, у2, у3, ..., у "найбільш вірогідні конкретні значення параметрів. Інакше кажучи, питання ставиться таким чином: якими мають бути параметри Θ, щоб значення уj, у2, у3, ..., у "були найбільш ймовірні?

Для відповіді на нього потрібно знайти закон спільного розподілу випадкових величин У1; В2, В3, ..., Уп -КУі, У 2 , Уз, У "). Якщо припустити, що спостерігаються нами велічіниу ^ у2, у3, ..., у "незалежні, то він дорівнює добутку п законів /

(У;) (твору вірогідності появи даних значень для дискретних випадкових величин або твору щільності розподілу для неперервних випадкових величин):

або

Щоб підкреслити той факт, що в якості змінних розглядаються шукані параметри Θ, введемо в позначення закону розподілу ще один аргумент - вектор параметрів Θ:

З урахуванням введених позначень закон спільного розподілу незалежних величин з параметрами буде записаний у вигляді

(2.51)

Отриману функцію (2.51) називають функцією максимального правдоподібності і позначають :

Ще раз підкреслимо той факт, що в функції максимальної правдоподібності значення У вважаються фіксованими, а змінними є параметри вектора (в окремому випадку - один параметр). Часто для спрощення процесу знаходження невідомих параметрів функцію правдоподібності логаріфміруют, отримуючи логарифмічну функцію правдоподібності

Подальше рішення по ММП припускає знаходження таких значень Θ, при яких функція правдоподібності (або її логарифм) досягає максимуму. Знайдені значення Θ; називають оцінкою максимальної правдоподібності.

Методи знаходження оцінки максимальної правдоподібності досить різноманітні. У найпростішому випадку функція правдоподібності є безперервно диференціюється і має максимум в точці, для якої

або

У більш складних випадках максимум функції максимальної правдоподібності не може бути знайдений шляхом диференціювання і рішення рівняння правдоподібності, що вимагає пошуку інших алгоритмів його знаходження, в тому числі ітеративних.

Оцінки параметрів, отримані з використанням ММП, є:

  • - Заможними , тобто зі збільшенням обсягу спостережень різниця між оцінкою і фактичним значенням параметра наближається до нуля;
  • - Інваріантними : якщо отримана оцінка параметра Θ, рівна 0L, і є безперервна функція q (0), то оцінкою значення цієї функції буде величина q (0L). Зокрема, якщо за допомогою ММП ми оцінили величину дисперсії будь-якого показника (af ), то корінь з отриманої оцінки буде оцінкою середнього квадратичного відхилення (σ,), отриманої по ММП.
  • - Асимптотично ефективними ;
  • - Асимптотично нормально розподіленими.

Останні два твердження означають, що оцінки параметрів, отримані по ММП, проявляють властивості ефективності і нормальності при нескінченно великому збільшенні обсягу вибірки.

Для знаходження параметрів множинної лінійної регресії виду

необхідно знати закони розподілу залежних змінних 7; або випадкових залишків ε ,. Нехай змінна Y t розподілена за нормальним законом з параметрами μ, •, σ, •. Кожне спостережуване значення у, має, відповідно до визначення регресії, математичне очікування μ, • = МУ "рівне його теоретичного значенням за умови, що відомі значення параметрів регресії у генеральній сукупності

де xfl, ..., x ip - значення незалежних змінних в и -м спостереженні. При виконанні передумов застосування МНК (передумов побудови класичної нормальної лінійної моделі), випадкові величини У, мають однакову дисперсію

Дисперсія величини визначається за формулою

Перетворимо цю формулу:

(2.52)

При виконанні умов Гаусса - Маркова про рівність нулю математичного сподівання випадкових залишків і сталості їх дисперсій можна перейти від формули (2.52) до формули

Інакше кажучи, дисперсії випадкової величини У, - і відповідних їй випадкових залишків збігаються.

Вибіркову оцінку математичного очікування випадкової величини Yj будемо позначати

а оцінку її дисперсії (постійної для різних спостережень) як Sy.

Якщо припустити незалежність окремих спостережень y it то отримаємо функцію максимального правдоподібності

(2.53)

У наведеній функції дільник є константою і не впливає на знаходження її максимуму. Тому для спрощення розрахунків він може бути опущений. З огляду на це зауваження і після логарифмування функція (2.53) набуде вигляду

Відповідно до ММП знайдемо похідні логарифмічною функції правдоподібності з невідомих параметрах

Для знаходження екстремуму прирівняємо отримані вирази до нуля. Після перетворень отримаємо систему

(2.54)

Ця система відповідає системі, отриманої за методом найменших квадратів. Тобто ММП і МНК дають однакові результати, якщо дотримуються передумови МНК. Останній вираз в системі (2.54) дає оцінку дисперсії випадкової змінної 7, або, що одне і те ж, дисперсії випадкових залишків. Як було зазначено вище (див. Формулу (2.23)), несмещенная оцінка дисперсії випадкових залишків дорівнює

Аналогічна оцінка, отримана із застосуванням ММП (як випливає з системи (2.54)), обчислюється за формулою

тобто є зміщеною .

Ми розглянули випадок застосування ММП для знаходження параметрів лінійної регресії за умови, що величина У, нормально розподілена. Інший підхід до знаходження параметрів тієї ж регресії полягає в побудові функції максимальної правдоподібності для випадкових залишків ε ,. Для них також передбачається нормальний розподіл з параметрами (0, σε). Неважко переконатися, що результати рішення в цьому випадку співпадуть з результатами, отриманими вище.

 
Якщо Ви помітили помилку в тексті позначте слово та натисніть Shift + Enter
< Попередня   ЗМІСТ   Наступна >
 
Дисципліни
Агропромисловість
Аудит та Бухоблік
Банківська справа
БЖД
Географія
Документознавство
Екологія
Економіка
Етика та Естетика
Журналістика
Інвестування
Інформатика
Історія
Культурологія
Література
Логіка
Логістика
Маркетинг
Медицина
Нерухомість
Менеджмент
Педагогіка
Політологія
Політекономія
Право
Природознавство
Психологія
Релігієзнавство
Риторика
Соціологія
Статистика
Техніка
Страхова справа
Товарознавство
Туризм
Філософія
Фінанси
Пошук