Предельные теоремы

Предельные теоремы – общее название обширной группы теорем, составляющей одно из основных направлений исследований в теории вероятностей и несущей в себе большую часть ее практической значимости. Ниже рассматриваются только П.т., входящие в общий курс теории вероятостей: закон больших чисел (ЗБЧ), центральная предельная теорема (ЦПТ) и теорема Пуассона.

Исторически первой П.т. является ЗБЧ в форме Бернулли, который можно сформулировать следующим образом. Пусть E₁, E₂, ... – независимые испытания Бернулли, в каждом из которых вероятность успеха равна p. (В аксиоматической теории вероятностей испытанием Бернулли E = (D,  ) называется любое разбиение множества элементарных исходов W вероятностного пространства (W, Ƒ, P) на два события D и  = W\D, DÎ Ƒ, одно из которых (далее – D) называется успехом. Испытания Бернулли E₁, E₂, ... называются независимыми, если для любого набора чисел i₁ < i₂ < … < i_k , справедливо равенство P() = P()´ ´P(), P(D_i) называется вероятностью успеха в i-м испытании.) Пусть S_n – число успехов в испытаниях E₁, ... E_n, и n_n = S_n /n – относительная частота успехов в n испытаниях. ЗБЧ в форме Бернулли – утверждение о том, что при n ®¥

P(|n_n – p |³ e) ® 0                                            (1)
для любого e > 0, что можно интерпретировать как утверждение о том, что в сериях, состоящих из большого числа испытаний Бернулли, частота успехов мало отличается от вероятности успеха в одном испытании (если проводится большое число серий испытаний Бернулли, то может оказаться, что в некоторых сериях частота успехов сильно отличается от вероятности успеха, но доля таких серий мала).

Это утверждение было обобщено С.Пуассоном на случай, когда вероятности
p_i = P(D_i) успехов могут зависеть от номера испытания: утверждение (1) остается справедливым, если p заменить на _n = (p₁ + … +p_n)/n.

ЗБЧ в форме Бернулли и ЗБЧ в форме Пуассона можно записать в эквивалентном виде в терминах сумм случайных величин и их математических ожиданий, если ввести случайные величины X_i, i = 1, 2, … , X_i = 1, если i-е испытание закончилось успехом, и
X_i = 0 в противном случае. Эти случайные величины являются (взаимно) независимыми, число успехов S_n совпадает с суммой X₁ + … + X_n и математические ожидания EX_i совпа-дают с p_i. С помощью этих случайных величин ЗБЧ в форме Пуассона можно записать в виде

  (2)
при n ®¥ для любого e > 0.

Следующее обобщение ЗБЧ было получено П.Л. Чебышевым, который не только отказался от предположения о том, что независимые случайные величины могут принимать только два значения, но и получил оценку вероятности отклонения средних арифметических (X₁+…+X_n)/n от средних арифметических их математических ожиданий. П.Л.Чебышев с помощью неравенства, носящего сейчас его имя, установил, что для любого положительного e и любого натурального n

  (3)
где DX_j – дисперсии случайных величин X_j. В частности, если дисперсии всех случайных величин X₁, X₂, … не превосходят одной и той же постоянной K, то

при n ® ¥ для любого e > 0. Это утверждение называется ЗБЧ в форме Чебышева. Для одинаково распределенных случайных величин условие DX_j £ K, j = 1, 2, … , сводится к условию существования дисперсий.

Для различно распределенных случайных величин условие DX_j £ K, j = 1, 2, …, может быть ослаблено, точнее, его можно заменить на условие E|X_j – EX_j|^1+a £C, где a и C – произвольные положительные постоянные (теорема Маркова). Эти условия, гарантирующие справедливость ЗБЧ для различно распределенных случайных величин X₁, X₂, …, связаны с существом дела и не могут быть отброшены, что показывает пример последовательности независимых случайных величин X₁, X₂, …, таких, что X_j принимает значения – 3^j и 3^j с вероятностями ½ каждое, j = 1, 2, ... . Для этих случайных величин математические ожидания равны нулю, суммы S_n = X₁ + … + X_n принимают значения 3ⁿ ± 3^n-1± … ± 3 (n ³ 3) c вероятностями 1/2ⁿ каждое, минимальное положительное значение S_n есть 3ⁿ – 3^n-1 – 3 = (3ⁿ +3)/2 и максимальное отрицательное значение S_n есть – (3ⁿ+ 3)/2. Величины при всех n ³1 и для любого 0 < e < 3 величина P(|S_n /n| ³ e) = 1. Для этой последовательности X₁, X₂, … утверждение ЗБЧ не справедливо.

В случае одинаково распределенных случайных величин X₁, X₂, … условия на суще-ствование моментов порядка выше первого оказываются излишними. Справедлив ЗБЧ в форме Хинчина: если X₁, X₂, … - независимые одинаково распределенные случайные величины, у которых существует математическое ожидание EX₁ = a, то для любого e > 0

(4)
при n ® ¥. Однако, если предполагать только существование первого момента случайных величин X₁, X₂, …, то содержательные верхние оценки указанной вероятности невозмож-ны: не существует функции m(b₁, n), где b₁ = E|X₁| < ¥ такой, что m(b₁, n) оценивает сверху левую часть (4) и m(b₁, n) ® 0 при n ® ¥.

Условия, необходимые и достаточные для справедливости (4), состоят в том, что

x(F(-x) + 1- F(x))®0 и при x ® ¥,
где F - общая функция распределения случайных величин X₁, X₂, … .

Условие взаимной независимости случайных величин в ЗБЧ можно ослабить. Так, для справедливости ЗБЧ в форме Хинчина достаточно потребовать попарной независи-мости случайных величин X₁, X₂, … , утверждение (3) справедливо для попарно некорре-лированых случайных величин, для справедливости ЗБЧ в форме Чебышева достаточно потребовать, чтобы DX_j £ K для всех j = 1, 2, … и r(X_i, X_j) £ d(|i – j|) для всех i, j, где r – коэффициент корреляции, а d(k) ® 0 при k®¥ (теорема Бернштейна).

Все указанные выше формы ЗБЧ можно записать в терминах сходимости по вероятности. (Говорят, что последовательность случайных величин X₁, X₂, … сходится по вероятности к случайной величине X, если P(|X_n – X| ³ e) ®0 для любого e > 0 при n ® ¥. Эта сходимость обозначается X_n X.) В случае одинаково распределенных случай-ных величин с конечным математическим ожиданием EX₁ = a ЗБЧ можно записать в виде

  (5)
это означает, что средние арифметические (X₁+…+X_n)/n сходятся по вероятности к вырож-денной случайной величине X = X(w) = a, wÎW; для различно распределенных случайных величин ЗБЧ можно записать в виде

  (6)

Помимо сходимости по вероятности на множестве случайных величин (заданных на некотором вероятностном пространстве (W, Ƒ, P)) рассматриваются и более сильные виды сходимости, например, сходимость почти наверное (с вероятностью 1). (Говорят, что последовательность случайных величин X₁, X₂, … сходится почти наверное к случайной величине X, если P(X_n ® X) = P({w: X_n(w)®X(w) , n ® ¥}) = 1. Эта сходимость обзначается
X_n X.) Утверждения (5) и (6), в которых сходимость по вероятности заменяется на сходимость почти наверное, называются усиленным ЗБЧ. Для справедливости усиленного ЗБЧ для последовательности X₁, X₂, … независимых случайных величин достаточно вы-полнения условия , которое сильнее условия при n ® ¥, дос-таточного для выполнения ЗБЧ (иногда говорят, слабого ЗБЧ), но и утверждение получа-ется существенно более сильным. Если ЗБЧ означает, что вероятность одного неравенства |S_n – ES_n|/n ³ e, e > 0, стремится к нулю при росте n, то усиленный ЗБЧ означает, что веро-ятность выполнения всех неравенств |S_n – ES_n|/n ³ e, |S_n+1 – ES_n+1|/(n+1) ³ e, ..., e > 0 стремится к нулю при росте n. Для справедливости усиленного ЗБЧ в случае независимых и одинаково распределенных случайных величин X₁, X₂, … необходимо и достаточно су-ществования их математического ожидания (теорема Колмогорова).

ЗБЧ можно формулировать и в терминах функций распределения с использованием понятия слабой сходимости на множестве функций распределения. (Говорят, что последо-вательность функций распределения F₁, F₂, … слабо сходится к функции распределения F, если числовые последовательности F_n(x) сходятся к F(x) при n ® ¥ для любой точки x, в которой предельная функция F непрерывна. Эта сходимость обозначается F_n Þ F. В случае, когда последовательность функций распределения F₁, F₂, … и функция распреде-ления F таковы, что при n ® ¥ для любой непрерывной огра-ниченной функции f, также говорят о слабой сходимости. Эта сходимость обозначается . Сходимости Þ и эквивалентны.)

Для независимых одинаково распределенных случайных величин X₁, X₂, … c EX₁ = a соотношение S_n/n a эквивалентно любому из соотношений U_n Þ E_a или U_n E_a, где U_n – функции распределения случайных величин S_n/n, а E_a (вырожденная) функция распределения с единственной точкой роста a, в которой E_a скачком изменяется от нуля до единицы. Первое из них эквивалентно тому, что U_n(x) ® 0 для x < a и U_n (x) ® 1 для
x > a при n ® ¥. Второе эквивалентно тому, что Ef(S_n/n) ® f(a) при n®¥ для любой не-прерывной ограниченной функции f. Это означает, что функции распределения случай-ных величин S_n /n при росте n вырождаются (слабо сходятся к вырожденной функции распределения). Представление о том, как именно вырождаются функции распределения случайных величин S_n/n дает ЦПТ. Так, одним из следствий ЦПТ (см. ниже) является утверждение о том, что если X₁, X₂, … - независимые одинаково распределенные случай-ные величины, EX₁ = a и DX₁ = s² > 0, то функции распределения U_n(x) при n ® ¥ вырож-даются, равномерно по x сближаясь с нормальными функциями распределения со средним a и дисперсиями s²/n, которые также слабо сходятся к функции распределения E_a(x). (При этом функции распределения V_n(x) случайных величин n^a(S_n/n – a) при n ®¥ для 0 £a < ½ вырождаются, слабо сходясь к вырожденной функции распределения E₀(x), для a > ½ при любом действительном x справедливо соотношение V_n(x)®½, то есть предельная функция не является функцией распределения, и для a = ½ имеет место сходимость V_n(x) ® F(x/s) равномерно по всем действительным x, где F - функция распределения стандартного нор-мального закона.

В теории вероятностей приходится часто рассматривать суммы независимых случай-ных величин. Распределения таких сумм являются свертками функций распределения сла-гаемых и в явном виде вычисляются лишь в исключительных случаях. Например, если X₁, X₂, … - независимые случайные величины с экспоненциальным распределением, плот-ность p(x) которого равна нулю при x < 0 и p(x) = le^-lx при x ³ 0, где l > 0 – параметр, то функция распределения G_n(x) = P(X₁ + … + X_n < x) суммы X₁ + … + X_n равна нулю при x £ 0 и

G_n(x) = 1 -                                         (7)
при x > 0, n = 1, 2, … . Это – один из немногих случаев, когда свертки вычисляются в явном виде и даже в нем формулы для G_n(x) при росте n усложняются и уже при n порядка нескольких десятков становятся непригодными для прямых расчетов.

Сказанное объясняет актуальность задач, связанных с поиском формул, которые да-ют приближенные значения функций распределения сумм многих случайных величин и поиском оценок точности аппроксимаций для таких формул. Такие формулы нельзя полу-чить, используя функции, предельные для функций распределения самих сумм независи-мых случайных величин, поскольку, например, для функций распределения G_n(x) из (7) G_n(x) ® 0 при n ® ¥ для любого действительного x. (При этом G_n(x) ® 1 при x ® ¥ для любого фиксированного n.) Аналогично обстоит дело для любой последовательности X₁, X₂, …невырожденных назависимых случайных величин с конечным вторым моментом: предельная функция для последовательности функций распределения G_n(x) = P(X₁ + … X_n < x) сумм X₁ + … + X_n существует, но она либо тождественно равна нулю (если EX₁ > 0), либо тождественно равна ½ (если EX₁ = 0), либо тождественно равна единице (если EX₁ < 0). Такие аппроксимации в теории вероятностей бессодержательны. (Иногда говорят, что для EX₁ > 0 распределения, порожденные суммами S_n = X₁ + … + X_n, при n ® ¥ уходят на бесконечность, то есть P(S_n > T) ® 1 для любого сколь угодно большого T, не зависящего от n, и для EX₁ < 0 уходят на - ¥ , то есть P(S_n < - T) ® 1 для любого сколь угодно боль-шого T. Во всех случаях распределения сумм S_n «растекаются» по действительной оси, то есть P(T₁ < S_n < T₂) ® 0 при n ®¥ для любых T₁ < T₂.)

Содержательные утверждения о распределениях сумм S_n можно получать, переходя к нормированным суммам (иногда говорят, к центрированным и нормиро-ванным суммам; и в ЦПТ и в ЗБЧ центрирование сумм S_n производится с помощью одних и тех же величин ES_n, а нормирования различны). Случайные величины S_n^* при всех n имеют нулевые средние и единичные дисперсии. Для функций распределения нормиро-ванных сумм справедлива ЦПТ, в одном из простейших вариантов утверждающая, что если X₁, X₂, … независимые одинаково распределенные случайные величины с EX₁ = a и DX₁ = s² > 0, то при n ® ¥

F_n(x) = P(S_n^* < x) = P((S_n- na)/(s) < x) ® F(x),
где F(x) – стандартная нормальная функция распределения, а сходимость равномерна по всем действительным x.

Отсюда, в частности, следует, что при n® ¥

G_n(x) = P(S_n < x) = F((x-na)/(s)) + o(1) и P(S_n/n - a < x) = F(x/s) + o(1),
где о(1) ® 0 равномерно по x.

Первый вариант ЦПТ был получен А.Муавром в 1733 г. и был связан с испытаниями Бернулли с одинаковыми вероятностями успехов. В 1812 г. результат А.Муавра был пере-открыт П.Лапласом. Достаточно общая формулировка ЦПТ появилась у П.Л.Чебышева, однако он не смог дать ее безупречное доказательство предложенным им методом момен-тов. Идеи П.Л.Чебышева были реализованы А.А. Марковым. А.М. Ляпунов в работах 1900 – 1901 гг. получил ЦПТ в достаточно общем виде. Точнее, А.М.Ляпунов доказал, что если случайные величины X₁, X₂, … независимы, их математические ожидания EX_i = a_i, диспер-сии DX_i = s²_i , для некоторого d > 0 существуют моменты b_2+d(X_i) = E|X_i – EX_i|^2+d , i = 1, 2, … и

при n ® ¥, где B_n² = s₁² + … + s_n², то функции распределения F_n(x) = P(S_n^* < x) нормиро-ванных сумм S_n^* при n ® ¥ равномерно по x сходятся к функции распределения F(x) стандартного нормального закона.

Применения ЦПТ связаны с тем, что она дает возможность заменять сложные распределения сумм независимых случайных величин, явный вид которых нам обычно недоступен, нормальными распределениями, работа с которыми не представляет трудностей. Однако, такая замена всегда связана с некоторой ошибкой, и большое число работ посвящено оценкам точности аппроксимации в ЦПТ или, как иногда говорят, оценкам скорости сходимости в ЦПТ. Из результатов, полученных А.М.Ляпуновым следует, что равномерное расстояние sup{ | F_n(x) - F (x) | : - ¥ < x < ¥ } не превосходит c(d)e_n, если 0 < d < 1 и не превосходит сn|loge_n|, если d = 1. Эти результаты уточнялись и обобщались в различных направлениях.

Для независимых одинаково распределенных величин X₁, X₂, … ЦПТ является уточ-нением ЗБЧ (при этом условия на существование моментов этих случайных величин в ЦПТ сильнее, чем ЗБЧ); для различно распределенных величин соотношения между ЗБЧ и ЦПТ сложнее, в частности, существуют как последовательности случайных величин, для которых ЗБЧ справедлив, а ЦПТ нет, так и последовательности, для которых верно обратное.

Первые варианты ЗБЧ и ЦПТ появились при изучении биномиальных распределе-ний, то есть при изучении распределений сумм S_n = X₁+ …+X_n независимых случайных величин, принимающих значения 0 и 1 с вероятностями q и p, q = 1 – p, 0 < p < 1. Вероятости P(S_n = k) равны C_n^kp^kq^n-k, k = 0, 1, …, n. Эти вероятности или суммы таких вероятностей аппроксимировались при фиксированном p и при n ® ¥, то есть в ситуации, когда np ® ¥. Однако, в некоторых задачах приходится сталкиваться с ситуациями, когда n велико, p мало и при этом произведение np невелико. Для того, чтобы в этом случае кор-ректно поставить задачу об аппроксимации биномиальных распределений, приходится использовать схему серий. Схемой серий называется треугольный массив случайных величин

X₁₁,

X₂₁, X₂₂,

….…

X_n1, X_n2, … X_nn,

…….
таких, что случайные величины в каждой серии (то есть в каждой строке) независимы.

Пусть схема серий такова, что для каждого натурального n случайные величины X_n1, X_n2, …, X_nn принимают значения 0 и 1 с вероятостями q = 1 – p и p, 0 < p <1, и пусть S_n = X_n1+…+X_nn. Тогда, если p = p(n) изменяется так, что pn ® l > 0 при n ® ¥ , то

P(S_n = k) ® (l^k/k!)e ^-l , k = 0, 1, … .
Это утверждение называется теоремой Пуассона. Если события X_nk = 1, k = 1, ..., n, как успехи в n-й серии испытаний Бернулли, то теорема Пуассона дает аппроксимацию распределения вероятностей числа успехо, в ситуации, когда вероятность успеха мала, или, как говорят, успех является редким событием.

В.В. Сенатов