Подробно теорема Байеса излагается в отдельной статье . Это замечательная работа, но в ней 15 000 слов. В этом же переводе статьи от Kalid Azad кратко объясняется самая суть теоремы.
- Результаты исследований и испытаний – это не события. Существует метод диагностики рака, а есть само событие - наличие заболевания. Алгоритм проверяет, содержит ли письмо спам, но событие (на почту действительно пришел спам) нужно рассматривать отдельно от результата его работы.
- В результатах испытаний бывают ошибки. Часто наши методы исследований выявляют то, чего нет (ложноположительный результат), и не выявляют то, что есть (ложноотрицательный результат).
- С помощью испытаний мы получаем вероятности определенного исхода. Мы слишком часто рассматриваем результаты испытания сами по себе и не учитываем ошибки метода.
- Ложноположительные результаты искажают картину. Предположим, что вы пытаетесь выявить какой-то очень редкий феномен (1 случай на 1000000). Даже если ваш метод точен, вероятнее всего, его положительный результат будет на самом деле ложноположительным.
- Работать удобнее с натуральными числами. Лучше сказать: 100 из 10000, а не 1%. При таком подходе будет меньше ошибок, особенно при умножении. Допустим, нам нужно дальше работать с этим 1%. Рассуждения в процентах неуклюжи: «в 80% случаев из 1% получили положительный исход». Гораздо легче информация воспринимается так: «в 80 случаях из 100 наблюдали положительный исход».
- Даже в науке любой факт - это всего лишь результат применения какого-либо метода. С философской точки зрения научный эксперимент – это всего лишь испытание с вероятной ошибкой. Есть метод, выявляющий химическое вещество или какой-нибудь феномен, и есть само событие - присутствие этого феномена. Наши методы испытаний могут дать ложный результат, а любое оборудование обладает присущей ему ошибкой.
- Если нам известна вероятность события и вероятность ложноположительных и ложноотрицательных результатов, мы можем исправить ошибки измерений.
- Теорема соотносит вероятность события с вероятностью определенного исхода. Мы можем соотнести Pr(A|X): вероятность события А, если дан исход X, и Pr(X|A): вероятность исхода X, если дано событие А.
Разберемся в методе
В статье, на которую дана ссылка в начале этого эссе, разбирается метод диагностики (маммограмма), выявляющий рак груди. Рассмотрим этот метод подробно.- 1% всех женщин болеют раком груди (и, соответственно, 99% не болеют)
- 80% маммограмм выявляют заболевание, когда оно действительно есть (и, соответственно, 20% не выявляют)
- 9,6% исследований выявляют рак, когда его нет (и, соответственно, 90,4% верно определяют отрицательный результат)
Как работать с этим данными?
- 1% женщин болеют раком груди
- если у пациентки выявили заболевание, смотрим в первую колонку: есть 80% вероятность того, что метод дал верный результат, и 20% вероятность того, что результат исследования неправильный (ложноотрицательный)
- если у пациентки заболевание не выявили, смотрим на вторую колонку. С вероятностью 9,6% можно сказать, что положительный результат исследования неверен, и с 90,4% вероятностью можно сказать, что пациентка действительно здорова.
Насколько метод точен?
Теперь разберем положительный результат теста. Какова вероятность того, что человек действительно болен: 80%, 90%, 1%?Давайте подумаем:
- Есть положительный результат. Разберем все возможные исходы: полученный результат может быть как истинным положительным, так и ложноположительным.
- Вероятность истинного положительного результата равна: вероятность заболеть, умноженная на вероятность того, что тест действительно выявил заболевание. 1% * 80% = .008
- Вероятность ложноположительного результата равна: вероятность того, что заболевания нет, умноженная на вероятность того, что метод выявил заболевание неверно. 99% * 9.6% = .09504
Какова вероятность, что человек действительно болен, если получен положительный результат маммограммы? Вероятность события - это отношение количества возможных исходов события к общему количеству всех возможных исходов.
Вероятность события = исходы события / все возможные исходы
Вероятность истинного положительного результата – .008. Вероятность положительного результата - это вероятность истинного положительного исхода + вероятность ложноположительного.
(.008 + 0.09504 = .10304)
Итак, вероятность заболевания при положительном результате исследования рассчитывается так: .008/.10304 = 0.0776. Эта величина составляет около 7.8%.
То есть положительный результат маммограммы значит только то, что вероятность наличия заболевания – 7,8%, а не 80% (последняя величина - это лишь предполагаемая точность метода). Такой результат кажется поначалу непонятным и странным, но нужно учесть: метод дает ложноположительный результат в 9,6% случаев (а это довольно много), поэтому в выборке будет много ложноположительных результатов. Для редкого заболевания большинство положительных результатов будут ложноположительными.
Давайте пробежимся глазами по таблице и попробуем интуитивно ухватить смысл теоремы. Если у нас есть 100 человек, только у одного из них есть заболевание (1%). У этого человека с 80% вероятностью метод даст положительный результат. Из оставшихся 99% у 10% будут положительные результаты, что дает нам, грубо говоря, 10 ложноположительных исходов из 100. Если мы рассмотрим все положительные результаты, то только 1 из 11 будет верным. Таким образом, если получен положительный результат, вероятность заболевания составляет 1/11.
Выше мы посчитали, что эта вероятность равна 7,8%, т.е. число на самом деле ближе к 1/13, однако здесь с помощью простого рассуждения нам удалось найти приблизительную оценку без калькулятора.
Теорема Байеса
Теперь опишем ход наших мыслей формулой, которая и называется теоремой Байеса. Эта теорема позволяет исправить результаты исследования в соответствии с искажением, которое вносят ложноположительные результаты:- Pr(A|X) = вероятность заболевания (А) при положительном результате (X). Это как раз то, что мы хотим знать: какова вероятность события в случае положительного исхода. В нашем примере она равна 7,8%.
- Pr(X|A) = вероятность положительного результата (X) в случае, когда больной действительно болен (А). В нашем случае это величина истинных положительных – 80%
- Pr(A) = вероятность заболеть (1%)
- Pr(not A) = вероятность не заболеть (99%)
- Pr(X|not A) = вероятность положительного исхода исследования в случае, если заболевания нет. Это величина ложноположительных – 9,6 %.
Pr(X) – это константа нормализации. Она сослужила нам хорошую службу: без нее положительный исход испытаний дал бы нам 80% вероятность события.
Pr(X) – это вероятность любого положительного результата, будет ли это настоящий положительный результат при исследовании больных (1%) или ложноположительный при исследовании здоровых людей (99%).
В нашем примере Pr(X) – довольно большое число, потому что велика вероятность ложноположительных результатов.
Pr(X) создает результат 7,8%, который на первый взгляд кажется противоречащим здравому смыслу.
Смысл теоремы
Мы проводим испытания, чтоб выяснить истинное положение вещей. Если наши испытания совершенны и точны, тогда вероятности испытаний и вероятности событий совпадут. Все положительные результаты будут действительно положительными, а отрицательные - отрицательными. Но мы живем в реальном мире. И в нашем мире испытания дают неверные результаты. Теорема Байеса учитывает искаженные результаты, исправляет ошибки, воссоздает генеральную совокупность и находит вероятность истинного положительного результата.Спам-фильтр
Теорема Байеса удачно применяется в спам-фильтрах.У нас есть:
- событие А - в письме спам
- результат испытания - содержание в письме определенных слов:
Фильтр берет в расчет результаты испытаний (содержание в письме определенных слов) и предсказывает, содержит ли письмо спам. Всем понятно, что, например, слово «виагра» чаще встречается в спаме, чем в обычных письмах.
Фильтр спама на основе черного списка обладает недостатками - он часто выдает ложноположительные результаты.
Спам-фильтр на основе теоремы Байеса использует взвешенный и разумный подход: он работает с вероятностями. Когда мы анализируем слова в письме, мы можем рассчитать вероятность того, что письмо - это спам, а не принимать решения по типу «да/нет». Если вероятность того, что письмо содержит спам, равна 99%, то письмо и вправду является таковым.
Со временем фильтр тренируется на все большей выборке и обновляет вероятности. Так, продвинутые фильтры, созданные на основе теоремы Байеса, проверяют множество слов подряд и используют их в качестве данных.
Дополнительные источники:
Теги: Добавить метки
События образуют полную группу , если хотя бы одно из них обязательно произойдет в результате эксперимента и попарно несовместны.
Предположим, что событие A может наступить только вместе с одним из нескольких попарно несовместных событий , образующих полную группу. Будем называть события (i = 1, 2,…, n ) гипотезами доопыта (априори). Вероятность появления события А определяется по формуле полной вероятности :
Пример 16. Имеются три урны. В первой урне находятся 5 белых и 3 черных шара, во второй – 4 белых и 4 черных шара, а в третьей – 8 белых шаров. Наугад выбирается одна из урн (это может означать, например, что осуществляется выбор из вспомогательной урны, где находятся три шара с номерами 1, 2 и 3). Из этой урны наудачу извлекается шар. Какова вероятность того, что он окажется черным?
Решение. Событие A – извлечен черный шар. Если было бы известно, из какой урны извлекается шар, то искомую вероятность можно было бы вычислить по классическому определению вероятности. Введем предположения (гипотезы) относительно того, какая урна выбрана для извлечения шара.
Шар может быть извлечен или из первой урны (гипотеза ), или из второй (гипотеза ), или из третьей (гипотеза ). Так как имеются одинаковые шансы выбрать любую из урн, то 
.
Отсюда следует, что
Пример 17.
Электролампы изготавливаются на трех заводах. Первый завод производит 30 % общего количества электроламп, второй – 25 %,
а третий – остальную часть. Продукция первого завода содержит 1% бракованных электроламп, второго – 1,5 %, третьего – 2 %. В магазин поступает продукция всех трех заводов. Какова вероятность того, что купленная в магазине лампа оказалась бракованной?
Решение.
Предположения необходимо ввести относительно того, на каком заводе была изготовлена электролампа. Зная это, мы сможем найти вероятность того, что она бракованная. Введем обозначения для событий: A
– купленная электролампа оказалась бракованной, – лампа изготовлена первым заводом, – лампа изготовлена вторым заводом,
– лампа изготовлена третьим заводом.
Искомую вероятность находим по формуле полной вероятности:
Формула Байеса. Пусть – полная группа попарно несовместных событий (гипотезы). А – случайное событие. Тогда,
Последнюю формулу, позволяющей переоценить вероятности гипотез после того, как становится известным результат испытания, в итоге которого появилось событие А, называют формулой Байеса .
Пример 18.
В специализированную больницу поступают в среднем 50 % больных с заболеванием К
, 30 % – c заболеванием L
, 20 % –
с заболеванием M
. Вероятность полного излечения болезни K
равна 0,7 для болезней L
и M
эти вероятности соответственно равны 0,8 и 0,9. Больной, поступивший в больницу, был выписан здоровым. Найдите вероятность того, что этот больной страдал заболеванием K
.
Решение. Введем гипотезы: – больной страдал заболеванием К L , – больной страдал заболеванием M .
Тогда по условию задачи имеем . Введем событие А – больной, поступивший в больницу, был выписан здоровым. По условию
По формуле полной вероятности получаем:
По формуле Байеса .
Пример 19. Пусть в урне пять шаров и все предположения о количестве белых шаров равновозможные. Из урны наудачу взят шар, он оказался белым. Какое предположение о начальном составе урны наиболее вероятно?
Решение.
Пусть – гипотеза, состоящая в том, что в урне белых шаров 
, т. е. возможно сделать шесть предположений. Тогда по условию задачи имеем .
Введем событие А
– наудачу взятый шар белый. Вычислим . Так как , то по формуле Байеса имеем: 
Таким образом, наиболее вероятной является гипотеза , т. к. .
Пример 20. Два из трех независимо работающих элемента вычислительного устройства отказали. Найдите вероятность того, что отказали первый и второй элементы, если вероятности отказа первого, второго и третьего элементов соответственно равны 0,2; 0,4 и 0,3.
Решение. Обозначим через А событие – отказали два элемента. Можно сделать следующие гипотезы:
– отказали первый и второй элементы, а третий элемент исправен. Поскольку элементы работают независимо, применима теорема умножения:
Краткая теория
Если событие наступает только при условии появления одного из событий образующих полную группу несовместных событий, то равна сумме произведений вероятностей каждого из событий на соответствующую условную вероятность кошелек .
При этом события называются гипотезами, а вероятности – априорными. Эта формула называется формулой полной вероятности.
Формула Байеса применяется при решении практических задач, когда событие , появляющееся совместно с каким-либо из событий образующих полную группу событий произошло и требуется провести количественную переоценку вероятностей гипотез . Априорные (до опыта) вероятности известны. Требуется вычислить апостериорные (после опыта) вероятности, т.е. по существу нужно найти условные вероятности . Формула Байеса выглядит так:
Пример решения задачи
Условие задачи 1
На фабрике станки 1,2 и 3 производят соответственно 20%, 35% и 45% всех деталей. В их продукции брак составляет соответственно 6%, 4%, 2%. Какова вероятность того, что случайно выбранное изделие оказалось дефектным? Какова вероятность того, что оно было произведено: а) станком 1; б) станком 2; в) станком 3?
Решение задачи 1
Обозначим через событие, состоящее в том, что стандартное изделие оказалось дефектным.
Событие может произойти только при условии наступления одного из трех событий:
Изделие произведено на станке 1;
Изделие произведено на станке 2;
Изделие произведено на станке 3;
Запишем условные вероятности:
Формула полной вероятности
Если событие может произойти только при выполнении одного из событий , которые образуютполную группу несовместных событий, то вероятность события вычисляется по формуле
По формуле полной вероятности находим вероятность события :
Формула Байеса
Формула Байеса позволяет «переставить причину и следствие»: по известному факту события вычислить вероятность того, что оно было вызвано данной причиной.
Вероятность того, что дефектное изделие изготовлено на станке 1:
Вероятность того, что дефектное изделие изготовлено на станке 2:
Вероятность того, что дефектное изделие изготовлено на станке 3:
Условие задачи 2
Группа состоит из 1 отличника, 5 хорошо успевающих студентов и 14 студентов, успевающих посредственно. Отличник отвечает на 5 и 4 с равной вероятностью, хорошист отвечает на 5, 4 и 3 с равной вероятностью, и посредственно успевающий студент отвечает на 4,3 и 2 с равной вероятностью. Случайно выбранный студент ответил на 4. Какова вероятность того, что был вызван посредственно успевающий студент?
Решение задачи 2
Гипотезы и условные вероятности
Возможны следующие гипотезы:
Отвечал отличник;
Отвечал хорошист;
–отвечал посредственно занимающийся студент;
Пусть событие -студент получит 4.
Условные вероятности:
Ответ:
Дано определение геометрической вероятности и подробно рассмотрена широко известная задача о встрече.
Полезная страница? Сохрани или расскажи друзьям
Если событие А может произойти только при выполнении одного из событий , которые образуют полную группу несовместных событий , то вероятность события А вычисляется по формуле
Эта формула называется формулой полной вероятности .
Вновь рассмотрим полную группу несовместных событий , вероятности появления которых 
. Событие А
может произойти только вместе с каким-либо из событий , которые будем называть гипотезами
. Тогда по формуле полной вероятности
Если событие А
произошло, то это может изменить вероятности гипотез .
По теореме умножения вероятностей
.
Аналогично, для остальных гипотез
Полученная формула называется формулой Байеса (формулой Бейеса ). Вероятности гипотез называются апостериорными вероятностями , тогда как - априорными вероятностями .
Пример. В магазин поступила новая продукция с трех предприятий. Процентный состав этой продукции следующий: 20% - продукция первого предприятия, 30% - продукция второго предприятия, 50% - продукция третьего предприятия; далее, 10% продукции первого предприятия высшего сорта, на втором предприятии - 5% и на третьем - 20% продукции высшего сорта. Найти вероятность того, что случайно купленная новая продукция окажется высшего сорта.
Решение. Обозначим через В событие, заключающееся в том, что будет куплена продукция высшего сорта, через обозначим события, заключающиеся в покупке продукции, принадлежащей соответственно первому, второму и третьему предприятиям.
Можно применить формулу полной вероятности, причем в наших обозначениях:
Подставляя эти значения в формулу полной вероятности, получим искомую вероятность:
Пример. Один из трех стрелков вызывается на линию огня и производит два выстрела. Вероятность попадания в мишень при одном выстреле для первого стрелка равна 0,3, для второго - 0,5; для третьего - 0,8. Мишень не поражена. Найти вероятность того, что выстрелы произведены первым стрелком.
Решение. Возможны три гипотезы:
На линию огня вызван первый стрелок,
На линию огня вызван второй стрелок,
На линию огня вызван третий стрелок.
Так как вызов на линию огня любого стрелка равновозможен, то 
В результате опыта наблюдалось событие В - после произведенных выстрелов мишень не поражена. Условные вероятности этого события при сделанных гипотезах равны:
по формуле Байеса находим вероятность гипотезы после опыта:
Пример. На трех станках-автоматах обрабатываются однотипные детали, поступающие после обработки на общий конвейер. Первый станок дает 2% брака, второй – 7%, третий – 10%. Производительность первого станка в 3 раза больше производительности второго, а третьего – в 2 раза меньше, чем второго.
а) Каков процент брака на конвейере?
б) Каковы доли деталей каждого станка среди бракованных деталей на конвейере?
Решение. Возьмем с конвейера наудачу одну деталь и рассмотрим событие А – деталь бракованная. Оно связано с гипотезами относительно того, где была обработана эта деталь: – взятая наудачу деталь обработана на -ом станке, .
Условные вероятности (в условии задачи они даны в форме процентов):
Зависимости между производительностями станков означают следующее:
А так как гипотезы образуют полную группу, то .
Решив полученную систему уравнений, найдем: .
а) Полная вероятность того, что взятая наудачу с конвейера деталь – бракованная.
Формула Байеса :Вероятности P(H i) гипотез H i называют априорными вероятностями - вероятности до проведения опытов.
Вероятности P(A/H i) называют апостериорными вероятностями – вероятности гипотез H i , уточненных в результате опыта.
Пример №1
. Прибор может собираться из высококачественных деталей и из деталей обычного качества. Около 40% приборов собираются из высококачественных деталей. Если прибор собран из высококачественных деталей, его надежность (вероятность безотказной работы) за время t равна 0,95; если из деталей обычного качества - его надежность равна 0,7. Прибор испытывался в течение времени t и работал безотказно. Найдите вероятность того, что он собран из высококачественных деталей.
Решение.
Возможны две гипотезы: H 1 - прибор собран из высококачественных деталей; H 2 - прибор собран из деталей обычного качества. Вероятности этих гипотез до опыта: P(H 1) = 0,4, P(H 2) = 0,6. В результате опыта наблюдалось событие A - прибор безотказно работал время t. Условные вероятности этого события при гипотезах H 1 и H 2 равны: P(A|H 1) = 0,95; P(A|H 2) = 0,7. По формуле (12) находим вероятность гипотезы H 1 после опыта:
Пример №2
. Два стрелка независимо один от другого стреляют по одной мишени, делая каждый по одному выстрелу. Вероятность попадания в мишень для первого стрелка 0,8, для второго 0,4. После стрельбы в мишени обнаружена одна пробоина. Предполагая, что два стрелка не могут попасть в одну и ту же точку, найдите вероятность того, что в мишень попал первый стрелок.
Решение.
Пусть событие A - после стрельбы в мишени обнаружена одна пробоина. До начала стрельбы возможны гипотезы:
H 1 - ни первый, ни второй стрелок не попадет, вероятность этой гипотезы: P(H 1) = 0,2 · 0,6 = 0,12.
H 2 - оба стрелка попадут, P(H 2) = 0,8 · 0,4 = 0,32.
H 3 - первый стрелок попадет, а второй не попадет, P(H 3) = 0,8 · 0,6 = 0,48.
H 4 - первый стрелок не попадет, а второй попадет, P (H 4) = 0,2 · 0,4 = 0,08.
Условные вероятности события A при этих гипотезах равны:
После опыта гипотезы H 1 и H 2 становятся невозможными, а вероятности гипотез H 3 и H 4
будут равны:
Итак, вероятнее всего, что мишень поражена первым стрелком.
Пример №3
. В монтажном цехе к устройству присоединяется электродвигатель. Электродвигатели поставляются тремя заводами-изготовителями. На складе имеются электродвигатели названных заводов соответственно в количестве 19,6 и 11 шт., которые могут безотказно работать до конца гарантийного срока соответственно с вероятностями 0,85, 0,76 и 0,71. Рабочий берет случайно один двигатель и монтирует его к устройству. Найдите вероятность того, что смонтированный и работающий безотказно до конца гарантийного срока электродвигатель поставлен соответственно первым, вторым или третьим заводом-изготовителем.
Решение.
Первым испытанием является выбор электродвигателя, вторым - работа электродвигателя во время гарантийного срока. Рассмотрим следующие события:
A - электродвигатель работает безотказно до конца гарантийного срока;
H 1 - монтер возьмет двигатель из продукции первого завода;
H 2 - монтер возьмет двигатель из продукции второго завода;
H 3 - монтер возьмет двигатель из продукции третьего завода.
Вероятность события A вычисляем по формуле полной вероятности:
Условные вероятности заданы в условии задачи:
Найдем вероятности
По формулам Бейеса (12) вычисляем условные вероятности гипотез H i:
Пример №4
. Вероятности того, что во время работы системы, которая состоит из трех элементов, откажут элементы с номерами 1, 2 и 3, относятся как 3: 2: 5. Вероятности выявления отказов этих элементов равны соответственно 0,95; 0,9 и 0,6.
б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?
Решение.
Пусть А - событие отказа. Введем систему гипотез H1 - отказ первого элемента, H2 - отказ второго элемента, H3 - отказ третьего элемента.
Находим вероятности гипотез:
P(H1) = 3/(3+2+5) = 0.3
P(H2) = 2/(3+2+5) = 0.2
P(H3) = 5/(3+2+5) = 0.5
Согласно условию задачи условные вероятности события А равны:
P(A|H1) = 0.95, P(A|H2) = 0.9, P(A|H3) = 0.6
а) Найдите вероятность обнаружения отказа в работе системы.
P(A) = P(H1)*P(A|H1) + P(H2)*P(A|H2) + P(H3)*P(A|H3) = 0.3*0.95 + 0.2*0.9 + 0.5*0.6 = 0.765
б) В условиях данной задачи во время работы системы обнаружен отказ. Какой из элементов вероятнее всего отказал?
P1 = P(H1)*P(A|H1)/ P(A) = 0.3*0.95 / 0.765 = 0.373
P2 = P(H2)*P(A|H2)/ P(A) = 0.2*0.9 / 0.765 = 0.235
P3 = P(H3)*P(A|H3)/ P(A) = 0.5*0.6 / 0.765 = 0.392
Максимальная вероятность у третьего элемента.
