14. Оценка параметров с априорными вероятностями

В предыдущей главе мы рассмотрели использование некоторых важных математических инструментов оценки коэффициента конверсии для посетителей блога, подписавшихся на рассылку. Но мы еще не рассмотрели одну из самых важных частей оценки параметров: использование существующих представлений о задаче. В этой главе вы увидите, как можно использовать наши предыдущие вероятности в сочетании с данными наблюдений, чтобы получить более точную оценку, которая сочетает существующие знания с собранными данными.

Прогнозирование коэффициентов конверсии рассылки

Чтобы понять, как изменяется бета-распределение при получении информации, посмотрим на другой коэффициент конверсии. В этом примере мы попытаемся выяснить, с какой скоростью подписчики нажимают на ссылку после того, как они открыли ваше письмо. Большинство компаний, предоставляющих услуги по управлению рассылкой, в реальном времени сообщают вам, сколько людей открыли сообщение и нажали на ссылку.

Наши данные пока говорят, что из первых пяти человек, открывших письмо, двое нажимают на ссылку. На рис. 14.1 показано бета-распределение этих данных.

 

Рис. 14.1. Бета-распределение наших наблюдений

Рисунок 14.1 показывает распределение Beta(2,3). Мы использовали эти цифры, потому что два человека перешли по ссылке, а трое — нет. В отличие от предыдущей главы, где у нас был довольно узкий скачок возможных значений, здесь мы имеем огромный диапазон возможных значений для истинного коэффициента конверсии, потому что у нас очень мало информации для работы. Рисунок 14.2 показывает CDF для этих данных, чтобы помочь нам легче рассуждать об этих вероятностях.

95 %-ный доверительный интервал (то есть 95 %-ная вероятность того, что истинный коэффициент конверсии находится где-то в этом диапазоне) отмечен, чтобы его было легче увидеть. На данный момент наши данные говорят, что истинный коэффициент конверсии может располагаться где угодно между 0,05 и 0,8! Это отражение того, как мало информации мы на самом деле получили. Учитывая, что у нас было две конверсии, мы знаем, что истинная ставка не может быть равна 0, и поскольку у нас было три не конверсии, мы также знаем, что она не может быть равна 1. Почти все остальное — справедливо.

 

Рис. 14.2. CDF для нашего наблюдения

Использование широкого контекста с априорными вероятностями

Подождите секунду — вы можете ничего не знать о рассылках, но 80 %-ный рейтинг переходов по ссылке — это маловероятно. Я подписываюсь на множество рассылок, но определенно не перехожу к контенту в 80 % случаев, когда открываю письмо. Принимать эти 80 % за чистую монету кажется наивным, когда я рассматриваю собственное поведение.

Оказывается, ваш провайдер тоже считает это подозрительным. Давайте посмотрим на более широкий контекст. По данным вашего провайдера, для блогов, относящихся к той же категории, что и ваш, только 2,4 % людей, открывающих письма, переходят к контенту.

Из главы 9 вы узнали, как можно использовать полученную информацию, чтобы изменить убеждение в том, что Хан Соло может успешно перемещаться по астероидной области. Наши данные говорят одно, но исходная информация утверждает другое. Как вы уже знаете, в байесовских терминах данные, которые мы наблюдали, являются нашей правдоподобностью, а информация внешнего контекста — в данном случае из личного опыта и от провайдера — априорнойвероятностью. Наша задача сейчас состоит в том, чтобы выяснить, как моделировать априорные вероятности. К счастью, в отличие от случая с Ханом Соло у нас действительно имеются данные, чтобы упростить задачу.

Коэффициент конверсии от провайдера, равный 2,4 %, дает отправную точку: теперь мы знаем, что нужно бета-распределение со средним значением примерно 0,024. (Среднее значение бета-распределения составляет α/(α + β).) Однако это все еще оставляет возможные варианты: Beta(1,41), Beta(2,80), Beta(5200), Beta(24 976) и т.д. Итак, что же из этого нужно использовать? Изобразим некоторые из них на графике (рис. 14.3).

 

Рис. 14.3. Сравнение различных возможных априорных вероятностей

Как видите, чем меньше α + β, тем шире распределение. Проблема заключается в том, что даже самый свободный вариант, который мы имеем, Beta(1,41), кажется слишком пессимистичным, так как большая часть плотности вероятности помещается в очень низкие значения. Но мы будем придерживаться этого распределения, поскольку оно основано на 2,4 %-ном коэффициенте конверсии в данных от провайдера и является самым слабым из приоритетов. «Слабая» априорная вероятность означает, что она будет легко переопределена фактическими данными, поскольку мы соберем еще больше информации. Более сильная априорная вероятность, такая как Beta(5200), потребовала бы больше доказательств для изменения (посмотрим, как это будет выглядеть дальше). Решение о том, следует ли использовать строгую априорную вероятность, является оценочным, исходя из того, насколько сильно вы ожидаете, что априорные данные описывают то, что вы делаете в данный момент. Как мы увидим, даже слабый априорный показатель может помочь сделать наши оценки более реалистичными при работе с небольшими объемами данных. Помните, что при работе с бета-распределением можно вычислить апостериорное распределение (сочетание нашей вероятности и априорной вероятности), просто сложив вместе параметры для двух бета-распределений:

Beta(αапостериорное, βапостериорное) =

= Beta(αправдоподобности + αаприорное, βправдоподобности + βаприорное).

Используя эту формулу, мы можем сравнить свои убеждения с априорной вероятностью и без априорной вероятности, как показано на рис. 14.4.

Ого! Выглядит довольно отрезвляюще. Несмотря на то что мы работаем с относительно слабой априорной вероятностью, мы видим, что это оказало огромное влияние на то, что мы считаем реалистичными коэффициентами конверсии. Обратите внимание, что для правдоподобности без априорных данных мы считаем, что коэффициент конверсии может достигать 80 %. Как уже упоминалось, это очень подозрительно; любой опытный маркетолог, работающий с электронной почтой, скажет вам, что 80 %-ный коэффициент конверсии — это неслыханно. Добавление априорной вероятности к правдоподобности корректирует наши убеждения, так что они становятся намного более разумными. Но я все еще думаю, что наши обновленные убеждения немного пессимистичны. Может быть, истинный коэффициент конверсии не равен 40 %, но он все же может быть лучше, чем предполагает нынешнее апостериорное распределение.

 

Рис. 14.4. Сравнение правдоподобия (без априорной вероятности) с апостериорной вероятностью

Как можно доказать, что блог имеет лучший коэффициент конверсии, чем сайты, указанные в данных провайдера, имеющие коэффициент 2,4 %? Как бы поступил любой рациональный человек? Предоставил больше данных! Мы ждем несколько часов, чтобы получить больше результатов, и выясняем, что из 100 человек, открывших письмо, 25 перешли по ссылке! Давайте посмотрим на разницу между нашей новой апостериорной вероятностью и правдоподобностью (рис. 14.5).

По мере того как мы продолжаем собирать данные, мы видим, что апостериорное распределение с использованием априорной вероятности начинает смещаться в сторону без априорной вероятности. Априорная вероятность по-прежнему контролирует наши данные, давая более консервативную оценку истинного коэффициента конверсии. Однако при добавлении доказательств к нашей правдоподобности она начинает оказывать большее

 

Рис. 14.5. Обновление убеждений с помощью большего количества данных

влияние на то, как выглядят апостериорные убеждения. Другими словами, дополнительные наблюдаемые данные делают то, что и должны: медленно раскачивают наши убеждения, чтобы соответствовать реальности. Так что давайте подождем еще ночь и вернемся, имея на руках еще больше данных!

Утром мы видим, что 300 подписчиков открыли письма и 86 из них нажали на ссылку. На рис. 14.6 показаны наши обновленные убеждения.

То, что мы наблюдаем здесь, является наиболее важным моментом в байе­совской статистике: чем больше данных собирается, тем больше наши априорные убеждения уменьшаются в результате доказательств. Когда у нас почти не было доказательств, наша вероятность предложила некоторые варианты, которые, как мы знаем, абсурдны (например 80 % переходов) как интуитивно, так и из личного опыта. В свете небольшого количества доказательств наши априорные убеждения опровергли все имеющиеся данные.

 

Рис. 14.6. Наши апостериорные убеждения с добавлением еще большего количества данных

Но по мере того как мы продолжаем собирать данные, которые не согласуются с априорными вероятностями, последующие убеждения смещаются в сторону того, что говорят нам собранные данные, и отходят от первоначальной априорной вероятности.

Другим важным выводом является то, что мы начали с довольно слабой априорной вероятности. Даже тогда, после всего лишь одного дня сбора сравнительно небольшого набора данных, мы смогли найти апостериорную вероятность, которая кажется гораздо более разумной.

Распределение априорных вероятностей в этом случае очень помогло сделать оценку намного более реалистичной при отсутствии данных. Это априорное распределение вероятностей было основано на реальных данных, поэтому мы могли быть вполне уверены, что оно поможет приблизить оценку к реальности. Тем не менее во многих случаях никаких данных для сохранения априорных вероятностей обычно нет. Так что же делать?

Априорная вероятность как средство измерения опыта

Поскольку мы знали, что идея 80 %-ного коэффициента конверсии смехо­творна, то использовали данные провайдера, чтобы составить более точную оценку априорной вероятности. Но даже если бы у нас не было данных, которые могли бы помочь установить априорную информацию, то мы все равно могли бы попросить кого-то, имеющего маркетинговый опыт, помочь сделать хорошую оценку. Например, опытный  маркетолог знает, что стоит ожидать, к примеру, около 20 % коэффициента конверсии.

Учитывая эту информацию от опытного профессионала, можно выбрать относительно слабую априорную вероятность, такую как Beta(2,8), чтобы предположить, что ожидаемый коэффициент конверсии должен составлять около 20 %. Это распределение является лишь предположением, но важно то, что мы можем количественно оценить это предположение. Почти для каждого бизнеса эксперты часто могут предоставить мощную априорную информацию, основанную просто на предыдущем опыте и наблюдениях, даже если у них нет специальной подготовки по определению вероятности.

Количественно оценивая этот опыт, мы можем получить более точные оценки и посмотреть, как они могут меняться от эксперта к эксперту. Например, если маркетолог уверен, что истинный коэффициент конверсии должен составлять 20 %, мы можем смоделировать это убеждение как Beta(200 800). По мере сбора данных мы можем сравнивать модели и создавать несколько доверительных интервалов, которые количественно моделируют любые экспертные убеждения. Кроме того, по мере получения все большего и большего количества информации разница из-за этих априорных убеждений будет уменьшаться.

Существует ли справедливая априорная вероятность, если ничего не известно?

В некоторых школах статистики учат, что при оценке параметров без какой-либо другой априорной вероятности к α и β всегда нужно добавлять 1. Это соответствует использованию очень слабой априорной вероятности, которая считает, что каждый результат одинаково вероятен: Beta(1,1). Аргумент заключается в том, что это «самая справедливая» (то есть самая слабая) априорная вероятность, которую можно придумать в отсутствие информации. Справедливая априорная вероятность называется неинформативной априорной вероятностью Beta(1,1) (рис. 14.7).

 

Рис. 14.7. Неинформативная априорная вероятность Beta(1,1)

Она представляет собой прямую линию, поэтому все результаты одинаково вероятны, а средняя вероятность равна 0,5. Идея использования неинформативной априорной вероятности заключается в том, что мы можем добавить априорную вероятность, чтобы сгладить оценку, но эта вероятность не смещена в сторону какого-либо конкретного результата. Хотя поначалу это может показаться наиболее справедливым способом решения, даже эта очень слабая априорная вероятность может привести к некоторым странным результатам при проверке.

Возьмем вероятность того, что солнце взойдет завтра. Скажем, вам 30 лет и вы пережили около 11 000 восходов солнца за свою жизнь. Теперь предположим, что кто-то хочет узнать вероятность того, что солнце взойдет завтра. Вы хотите быть честным и использовать неинформативную априорную вероятность Beta(1,1). Распределение, которое представляет вашу уверенность в том, что солнце не взойдет завтра, будет Beta(1,11 001), что основывается на вашем опыте. Хотя это дает очень низкую вероятность того, что солнце не взойдет завтра, оно также предполагает, что мы ожидаем, что солнце не взойдет хотя бы один раз к тому времени, когда вам исполнится 60 лет. Так называемая «неинформативная» априорная вероятность дает довольно твердое мнение о том, как устроен мир!

Вы можете поспорить, что проблема только в том, как мы понимаем небесную механику, поскольку имеем сильную априорную информацию, которую не можем забыть. Но настоящая проблема в том, что мы никогда не наблюдали случай, когда солнце не взошло. Если мы вернемся к нашей функции правдоподобия без неинформативной априорной вероятности, то получим Beta(0,11 000).

Однако когда α или β ≤ 0, бета-распределение не определено, и следовательно, ответа на вопрос, какова вероятность того, что солнце взойдет завтра, нет — вопрос не имеет смысла, потому что мы никогда не видели контрпример.

В качестве другого примера предположим, что вы нашли портал, который перенес вас и вашего друга в новый мир. Перед вами появляется пришелец и стреляет в вас из странно выглядящего пистолета, который просто не попадает. Друг спрашивает вас: «Какова вероятность того, что пистолет даст осечку?» Это совершенно чужой мир, пистолет выглядит причудливо, и вы ничего не знаете о его механике.

Теоретически это идеальный сценарий для использования неинформативной априорной вероятности, поскольку вы не имеете абсолютно никакой априорной информации об этом мире. Если вы добавите неинформативную априорную вероятность, то получите апостериорную вероятность Beta(1,2) того, что произойдет осечка (мы наблюдали α= 0 осечек и β= 1 успешных выстрелов). Это распределение говорит, что средняя апостериорная вероятность осечки составляет 1/3, что кажется поразительно высоким уровнем, учитывая, что вы даже не знаете, может ли странное оружие дать осечку. Несмотря на то что Beta(0,1) не определена, ее применение выглядит как рациональный подход к этой проблеме. При отсутствии достаточных данных и какой-либо предварительной информации единственный честный вариант — поднять руки и сказать другу: «Не имею ни малейшего понятия, что вообще об этом сказать!»

Лучшие априорные вероятности подкреплены данными, и никогда не бывает настоящей «справедливости» при полном отсутствии данных. Каждый наблюдатель привносит в проблему свой собственный опыт и взгляд на мир. Ценность байесовских рассуждений, даже при субъективном назначении априорных вероятностей, заключается в том, что вы количественно определяете свои субъективные убеждения. Как мы увидим позже в книге, это означает, что вы можете сравнить свои априорные данные с данными других людей и увидеть, насколько хорошо эти данные объясняют мир вокруг вас. Априорная вероятность Beta(1,1) иногда используется на практике, но стоит применять ее только тогда, когда вы искренне уверены, что два возможных исхода, насколько вы знаете, одинаково вероятны. Точно так же никакое количество вычислений не может восполнить абсолютное невежество. Если у вас нет данных и предварительного понимания проблемы, единственный честный ответ — сказать, что вы ничего не можете сделать, пока не узнаете больше.

Стоит отметить, что вопрос, использовать Beta(1,1) или Beta(0,0), имеет давнюю историю, и многие великие умы обсуждают его. Томас Байес с горем пополам верил в Beta(1,1), великий математик Симон-Пьер Лаплас был совершенно уверен, что Beta(1,1) имеет право на жизнь, а известный экономист Джон Мейнард Кейнс считал, что использование Beta(1,1) настолько нелепо, что дискредитирует всю байесовскую статистику!

Заключение

Из этой главы вы узнали, как добавить априорную информацию, чтобы получить гораздо более точные оценки для неизвестных параметров. Когда информации мало, можно легко получить вероятностные оценки, которые кажутся невозможными. Но у нас может быть априорная информация, которая поможет сделать выводы из такого малого количества данных. Добавляя эту информацию к оценкам, мы получим гораздо более реалистичные результаты.

По возможности лучше использовать априорное распределение вероятностей на основе фактических данных. Но часто данных не хватает, поэтому можно либо привлечь личный опыт, либо обратиться к экспертам, у которых он есть. В этих случаях совершенно нормально оценить распределение вероятностей, соответствующее вашей интуиции. Даже если вы ошибаетесь, то будете не правы в том, что записано количественно. Самое главное — даже если априорная вероятность неверна, она в конечном итоге будет отменена данными, когда вы соберете больше наблюдений.

Упражнения

Чтобы убедиться, что вы понимаете априорную вероятность, попробуйте ответить на эти вопросы.

1. Предположим, вы играете в аэрохоккей с друзьями и подбрасываете монетку, чтобы узнать, кто будет подавать шайбу. Проиграв 12 раз, вы понимаете, что друг, который приносит монету, почти всегда идет первым: 9 из 12 раз. Некоторые из ваших друзей начинают что-то подозревать. Определите априорное распределение вероятностей для следующих убеждений:

• убеждения человека, который слабо верит, что друг обманывает и реальная скорость выпадения орла ближе к 70 %;

• убеждения человека, который очень сильно верит, что монетка честная и дает 50 %-ную вероятность выпадения орла;

• убеждения человека, который твердо верит, что монета склонна к выпадению орла в 70 % случаев.

2. Чтобы проверить монету, вы подбрасываете ее еще 20 раз и получаете 9 орлов и 11 решек. Используя априорные вероятности, которые вы рассчитали в предыдущем вопросе, определите обновленные апостериорные убеждения в истинной вероятности выпадения орла с точки зрения 95 %-ного доверительного интервала.