Принцип максимального правдоподобия

Принцип максимального правдоподобия в математической статистике - способ построения статистических оценок и принятия гипотез в параметрических статистических моделях, согласно которому оценка параметра должна максимизировать функцию правдоподобия.

Понятие функции правдоподобия проще объяснить в случае, когда:

- множество S возможных значений наблюдений конечно,

- статистическая модель состоит в том, что наблюдение ξ является случайной величиной, принимающей значения в множестве S,

- неизвестное распределение наблюдения принадлежит заданному семейству распределений   где Θ – множество значений параметра.

Таким образом, если «истинное» значение параметра равно θ₀, то вероятность того, что наблюдение ξ примет значение S, равна p ( S, θ₀ ).

Пусть в результате проведения эксперимента наблюдение ξ приняло значение S, но «истинное» значение θ₀ параметра θ неизвестно. Так как семейство P_θ известно, можно рассмотреть p ( S, θ ) при фиксированном S как функцию от . В рассматриваемом случае p ( S, θ ) и есть функция правдоподобия, и согласно принципу максимального правдоподобия в качестве оценки неизвестного значения θ₀ параметра θ следует выбрать такое , при котором , т.е. точку максимума функции правдоподобия. В «разумных» статистических моделях такая точка максимума существует при любом значении S.

Следует отметить, что при фиксированном S функция правдоподобия p ( S, θ ) как функция на Θ не является вероятностной мерой и не имеет прямого вероятностного смысла (в частности, ее нельзя интерпретировать как «вероятность того, что неизвестный параметр равен θ»).

Если множество значений S не является дискретным, а семейство возможных распределений наблюдения задано плотностями p ( S, θ ) относительно некоторой меры на S, то в качестве функции правдоподобия можно выбрать p ( S, θ ) (или любую другую функцию, отличающуюся от плотностей p ( S, θ ) одним и тем же множителем). Тогда в качестве оценки неизвестного значения θ₀ параметра θ тоже следует выбирать значение , при котором функция правдоподобия максимальна.

В общем случае строгого формального обоснования принципа наибольшего правдоподобия не существует, но для широкого класса статистических моделей построенные в соответствии с этим принципом оценки обладают многими оптимальными (или асимптотически оптимальными – при неограниченном увеличении объема выборки) свойствами.

Литература

1. Кокс Д., Хинкли Д., Теоретическая статистика, пер. с англ., М., 1978;

2. Кендалл М. Дж., Стьюарт А., Статистические выводы и связи, пер. с англ., М., 1973.