Статистическое моделирование

Содержание

Введение

Выборочный метод

Статистическая оценка законов распределения

Основные свойства точечных оценок

Оценка математического ожидания и дисперсии по выборке

Доверительные интервалы

Методы получения оценок

Метод максимального правдоподобия

Распределение хи-квадрат

Литература

Введение

Когда приходится изучать не единичные, а массовые случайные явления, необходимо прибегать к статистическим методам исследования. Эти методы предназначены для выявления закономерностей там, где на первый взгляд нет ничего, кроме совокупности отдельных фактов, наблюдений, измерений. Теория вероятностей и математическая статистика являются науками о методах количественного анализа массовых случайных явлений.

В теории вероятностей по заданным вероятностям некоторых событий и функциям распределения случайных величин определяются вероятности и функции распределения других событий и случайных величин.

Естественно спросить: откуда известны исходные вероятности и распределения, как их найти? Одних априорных рассуждений для этого, как правило, недостаточно, необходимы опыт, специальные испытания. Математическая статистика и разрабатывает методы, позволяющие по результатам испытаний делать определённые выводы о вероятностях и распределённых случайных величин и событий.

Целью каждой науки является обнаружение некоторых общих закономерностей, позволяющих предвидеть течение явлений природы и выбирать рациональные пути поведения в исходных ситуациях. Во многих случаях для обнаружения общих закономерностей необходимо провести большое число наблюдений и измерений; как следствие нужны методы обработки совокупности таких наблюдений. Эти методы также разрабатывает математическая статистика.

Первые работы по математической статистике появились в 18ом веке и были связаны со статистикой народонаселения, изучением продолжительности жизни и вопросами страховании. Позже в конце 18ого начало 19ого века в связи с астрономическими задачами начались серьёзные исследования по теории ошибок измерений. Биологические изыскания послужили толчком для постановки многочисленных вопросов, которые привели в начале 20го века к выделению математической статистки в отдельную науку. Сейчас в связи с общим бурным развитием науки и проникновением количественных методов буквально во все отрасли знаний интерес к математической статистике возрос, возникли новые задачи и методы. Математическая статистика находится в стадии дальнейшего развития и её прогресс продолжается.

Известно, что каждое распределение определяется тем или иным числом параметров: закон Пуассона зависит только от одного параметра – математического ожидания; нормальный закон – от двух – математического ожидания и дисперсии исследуемой случайной величины.

Если мы хотим использовать эти законы, например распределения Пуассона, в инженерных задачах, нам нужно оценить параметр, то есть найти его численное значение, в данном случае – численное значение математического ожидания.

Традиционный естественный способ нахождения параметра заключается в обследовании некоторого множества значений соответствующей случайной величины. Это множество обычно называется выборкой; элементы множества – выборочными значениями случайной величины; количество элементов – объёмом выборки. На основании изучения выборки мы делаем некоторые выводы о всей совокупности возможных значений случайной величины. Эта совокупность называется генеральной. В результате обследования выборки и использования соответствующих статистических правил можно получить численную оценку значения параметра. Оценка параметра – это некоторая функция от выборочных значений случайной величины. В нашем случае в качестве оценки параметра – математического ожидания можно использовать среднее арифметическое выборочных значений. Отметим, что оценка является случайной величиной. Таким образом, параметр – постоянная величина заменяется значением случайной величины, полученной по результатам выборки на основании некоторого правила.

Если мы рассмотрим ещё одну выборку такого же объёма, то численное значение оценки будет несколько иным, так как состав нашей выборки случаен. Это ещё раз иллюстрирует тот факт, что с помощью оценки величина параметра определяется с некоторой ошибкой. Узловым для математической статистики является вопрос, как далеко могут отклонятся величины оценок, вычисление по выборке, от соответствующих истинных значений параметров.

В рассмотренном случае нужно по выборке оценить математическое ожидание случайной величины, распределённой по закону Пуассона. Как это сделать? Можно использовать: 1) среднее арифметическое 2) наиболее часто встречающееся выборочное значение случайной величины; 3) средний член вариационного ряда.

Какая из этих оценок лучше? И что значит лучшая оценка? Каким требованиям она должна удовлетворять? Ответы на эти вопросы даёт математическая статистика.

Вторая задача – проверка статистических гипотез. Это могут быть гипотезы о законе распределения, о равенстве двух математических ожиданий или дисперсий различных распределений. Проверка статистических гипотез также производится на основе анализа выборки ограниченного объёма.

Можно предположить что некоторая случайная величина распределена по закону Пуассона. Эта гипотеза нуждается в проверке. Частоты (оценки вероятностей), полученные в результате обработки выборки, могут несколько отличаться от вероятностей, определённых на основании распределения Пуассона. Причина расхождения может заключаться в том, что неправильна гипотеза о законе распределения. Однако не исключение и другая причина: объём выборки весьма мал, а при таком объёме выборки полученные различия между частотами и вероятностями могут наблюдать и при истинности предположения о законе распределения. Принять наилучшее решение в данном случае помогают методы математической статистики.

Существуют и другие не менее важные задачи математической статистики, такие, например как планирование эксперимента, установление статистических зависимостей между случайными событиями.

1. Выборочный метод

Генеральная и выборочная совокупность

Одним из фундаментальных понятий математической статистики является неопределяемое понятие генеральной совокупности. Под генеральной совокупностью понимают множество качественно однородных элементов (объектов, изделий) самой различной природы. Рассмотрим возможные типы этих совокупностей.

Конечная и реально существующая, например генеральная совокупность всех людей Украины в фиксированный момент времени.

Бесконечная и реально существующая, например множество действительных чисел, лежащих между нулем и единицей.

Воображаемая (гипотетическая) конечная или бесконечная: Например, повторные непрекращающиеся бросания игральной кости дают последовательность элементов из бесконечной несуществующей генеральной совокупности.

Вторым основным понятием математической статистики является понятие выборочной совокупности (выборки).

Пусть требуется изучить элементы некоторой генеральной совокупности относительно какого-либо количественного признака, характеризующего эти элементы. Это можно сделать, производя сплошное обследование всех элементов совокупности относительно интересующего нас признака. Однако на практике сплошное обследование применяется сравнительно редко. Для генеральной совокупности, содержащей большое число элементов, сплошное обследование будет экономически невыгодно или вообще физически невозможно. Если обследование объекта связано с его уничтожением (например при проверке качества минных взрывателей) или потребует больших материальных затрат (например запуск современной ракеты), то проводить сплошное обследование практически не имеет смысла. В такой ситуации случайно отбирают из генеральной совокупности ограниченое число объектов и изучают их.

Таким образом, выборочной совокупностью или просто выборкой объёма n будем называть совокупность n объектов, отобранных из интересующей нас генеральной совокупности.

2. Статистическая оценка законов распределения

Если выборка объёма n из генеральной совокупности представительна, то элементы с одинаковыми значениями варианты будут приблизительно одинаково часто встречаться как в выборке, так и в генеральной совокупности. В этом случае естественно принять распределение X в выборке за приближенное распределение ее в генеральной совокупности, тоесть считать дискретное распределение выборки Fn(x) приближением к теоретической функции распределения F(x). Пример приближения показан на рисунке

Основанием для такого приближения является так называемая основная теорема математической статистики, доказанная В.И. Гливенко

Из этой теоремы следует, что при n→∞ с вероятностью, равной единице, верхняя граница отклонения |F(x)−F(x)| на всей оси x стремится к нулю. Тем самым гарантируется равномерное приближение Fn (x) к F(x) на всей оси x. Таким образом, исследуя функцию Fn (x), мы можем по ней приближено оценить теоретическую функцию распределения случайной величины.

3. Основные свойства точечных оценок

Для того чтобы оценка имела практическую ценность, она должна обладать следующими свойствами.

1. Оценка параметра q называется несмещенной, если ее математическое ожидание равно оцениваемому параметру q , т.е.

М= q .(22.1)

Если равенство (22.1) не выполняется, то оценка может либо завышать значение q (М>q ), либо занижать его (М< q ) . Естественно в качестве приближенного неизвестного параметра брать несмещенные оценки для того, чтобы не делать систематической ошибки в сторону завышения или занижения.

2. Оценка параметра q называется состоятельной , если она подчиняется закону больших чисел, т.е. сходится по вероятности к оцениваемому параметру при неограниченном возрастании числа опытов (наблюдений ) и, следовательно, выполняется следующее равенство:

,(22.2)

где e > 0 сколько угодно малое число.

Для выполнения (22.2) достаточно, чтобы дисперсия оценки стремилась к нулю при , т.е.

(22.3)

и кроме того, чтобы оценка была несмещенной. От формулы (22.3) легко перейти к (22.2) , если воспользоваться неравенством Чебышева.

Итак, состоятельность оценки означает, что при достаточно большом количестве опытов и со сколько угодно большой достоверностью отклонение оценки от истинного значения параметра меньше любой наперед заданной величины. Этим оправдано увеличение объема выборки.

Так как - случайная величина, значение которой изменяется от выборки к выборке, то меру ее рассеивания около математического ожидания q будем характеризовать дисперсией D. Пусть и - две несмещенные оценки параметра q, т.е. M= q и M= q , соответственно D и Dи, если D < D, то в качестве оценки принимают .

3. Несмещенная оценка , которая имеет наименьшую дисперсию среди всех возможных несмещенных оценок параметра q, вычисленных по выборкам одного и того же объема , называется эффективной оценкой.

На практике при оценке параметров не всегда удается удовлетворить одновременно требованиям 1, 2, 3. Однако выбору оценки всегда должно предшествовать ее критическое рассмотрение со всех точек зрения. При выборке практических методов обработки опытных данных необходимо руководствоваться сформулированными свойствами оценок.

4. Оценка математического ожидания и дисперсии по выборке

Наиболее важными характеристиками случайной величины являются математическое ожидание и дисперсия. Рассмотрим вопрос о том, какие выборочные характеристики лучше всего оценивают математическое ожидание и дисперсию в смысле несмещенности, эффективности и состоятельности.

Теорема 23.1. Арифметическая средняя , вычисленная по n независимым наблюдениям над случайной величиной x, которая имеет математическое ожидание Mx = m, является несмещенной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной x. По условию Mx = m, а т.к. являются случайными величинами и имеют тот же закон распределения, то тогда . По определению средняя арифметическая

.(23.1)

Рассмотрим математическое ожидание средней арифметической. Используя свойство математического ожидания, имеем:

,

т.е. . В силу (22.1) является несмещенной оценкой. 

Теорема 23.2. Арифметическая средняя , вычисленная по n независимым наблюдениям над случайной величиной x, которая имеет Mx = m и , является состоятельной оценкой этого параметра.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной x. Тогда в силу теоремы 23.1 имеем Mx = .

Для средней арифметической запишем неравенство Чебышева:

.

Используя свойства дисперсии 4,5 и (23.1), имеем:

,

т.к. по условию теоремы .

Следовательно,

.(23.2)

Итак, дисперсия средней арифметической в n раз меньше дисперсии случайной величины x. Тогда

,

поэтому

,

а это значит, что является состоятельной оценкой.

Замечание: 1. Примем без доказательства весьма важный для практики результат. Если x О N (a, s), то несмещенная оценка математического ожидания a имеет минимальную дисперсию, равную , поэтому является эффективной оценкой параметра а. 

Перейдем к оценке для дисперсии и проверим ее на состоятельность и несмещенность.

Теорема 23.3. Если случайная выборка состоит из n независимых наблюдений над случайной величиной x с

Mx = m и Dx = , то выборочная дисперсия

(23.3)

не является несмещенной оценкой Dx - генеральной дисперсии.

Доказательство.

Пусть - n независимых наблюдений над случайной величиной x. По условию и для всех . Преобразуем формулу (23.3) выборочной дисперсии:

Упростим выражение

.

Принимая во внимание (23.1), откуда

можно записать

Тогда

Теперь рассмотрим - математическое ожидание выборочной дисперсии:

Используя определение дисперсии, получаем:

и в силу (23.2), следовательно,

,(23.4)

т.е. выборочная дисперсия является смещенной оценкой дисперсии генеральной совокупности.

Замечание 2. Оценку (23.4) можно исправить так, чтобы она стала несмещенной

(23.5)

Обычно оценку называют исправленной выборочной дисперсией. Действительно,

тогда

Дробь называют поправкой Бесселя. При малых n поправка Бесселя значительно отличается от 1. При n > 50 практически нет разницы между и .

Замечание 3. Можно показать, что оценки и являются состоятельными и не являются эффективными.

Несмещенной, состоятельной и эффективной оценкой является оценка

(23.6)

в случае, когда математическое ожидание m известно

.

5. Доверительные интервалы

Изучавшиеся ранее оценки неизвестного параметра являются точечными: мы старались судить о значении неизвестного числа или вектора q по значению оценки , принятом ею, как только известна статистическая выборка (). Однако, поскольку оценка сама является случайной величиной, её выборочное значение заведомо не совпадает с константой q. Имея в виду это обстоятельство, предпочтительнее стремиться указывать не точное значение оцениваемого параметра, а некоторый интервал, содержащий в себе значение параметра. Границы такого интервала должны определяться доступной нам информацией - выборкой из генеральной совокупности, то есть они сами случайны, и поэтому есть смысл говорить о вероятности того, что значение параметра находится внутри интервала.

Определение 24.1. Пусть генеральная совокупность описывается случайной величиной x, распределение которой зависит от скалярного параметра q. Пусть, далее, и две функции выборки такие, что всегда и

.

() со случайными границами называют доверительным интервалом для неизвестного параметра q с доверительной вероятностью b.

Число a = 1-b называют уровнем значимости интервала.

Стараясь иметь как можно более достоверные выводы, границы доверительного интервала выбирают таким образом, чтобы доверительная вероятность b была как можно ближе к 1.

Схематически процесс построения доверительного интервала можно описать следующим образом.

Пусть - несмещенная оценка параметра q.

Выберем доверительную вероятность b. Значение выражения «b как можно ближе к 1» относительно, оно находится вне границ математики и определяется лицом, производящим статистические исследования. Обычно выбирают b равным 0,9; 0,95; 0,99.

Пусть, далее, можно найти такое число e > 0, что

.(24.1)

Записав (24.1) в виде

,

видим, что интервал () является доверительным интервалом для параметра q с уровнем значимости a = 1-b.

Практически вопрос о построении доверительного интервала связан с возможностью нахождения распределения оценки , а это, в свою очередь, зависит от распределения генеральной совокупности.

Пример 24.1. Построение доверительного интервала для математического ожидания нормальной генеральной совокупности при известной дисперсии.

Пусть генеральная совокупность x распределена по нормальному закону с параметрами (q,s2), где s2 (дисперсия) известно. Мы уже знаем, что наилучшей в смысле несмещенности, состоятельности и эффективности оценкой неизвестного математического ожидания q нормального закона является выборочное среднее

.

В продвинутом курсе теории вероятностей доказывается, что нормальное распределение обладает свойством устойчивости : если независимые случайные величины x, h распределены нормально с параметрами () и () соответственно, то их сумма x + h распределена нормально с параметрами ().

Используя это утверждение в нашем случае, заключаем, чтораспределена нормально с параметрами (), а нормированное выборочное среднее подчинено нормальному закону с параметрами (0,1).

Это означает, что

, где .

Функция Ф(z) нам уже встречалась, её значения табулированы.

Выберем теперь доверительную вероятность b и обозначим корень уравнения Ф() = b/2.

После этого рассмотрим равенства

, которые свидетельствуют о том, что интервал

является доверительным для параметра q с доверительной вероятностью b ( и уровнем значимости a = 1 - b).

Приведем часть из таблицы значений (прил. 2) для некоторых наиболее употребительных значений b.

Таблица 24.1 (Зависимость от доверительной вероятности)

Обозначим половину ширины доверительного интервала.

Замечаем, что:

при фиксированной доверительной вероятности b ширина доверительного интервала уменьшается с ростом числа наблюдений n как величина порядка ( при увеличении, например, числа наблюдений в 100 раз ширина интервала уменьшится в 10 раз);

поскольку Ф(z) возрастает с ростом z, то увеличение доверительной вероятности, при