7. Комплексные модели: огромная куча ужасной пиццы

В американской версии популярного сериала «Офис» начальник Майкл Скотт однажды купил для коллег пиццу. И все расстроились, когда узнали, что он случайно сделал покупку в «Пицце от Альфредо» вместо Alfredo's Pizza. Более дешевая, она оказалась просто ужасной.

В ответ на жалобы Майкл задал подчиненным вопрос: что лучше – маленький кусочек хорошей пиццы или большой кусок ужасной?

Многим людям, работающим с искусственным интеллектом, вполне возможно, больше понравится второй вариант. В предыдущей главе мы построили одну хорошую модель для определения беременных покупателей РитейлМарта. А что, если наоборот, стать немного демократичней? Что, если построить несколько заведомо неказистых моделей и затем устроить голосование по поводу беременности покупателя – а процент голосов использовать как единичный прогноз?

Такой вид подхода называется комплексным моделированием, или ансамблем моделей (ensemble modeling). Как вы сможете убедиться, он обладает весьма ценным свойством – превращает обычные наблюдения в золото.

Мы столкнемся с таким типом комплексной модели, как bagged decision stumps – бэггинговые одноуровневые деревья принятия решений (bagging – сокращенно от bootstrap aggregating – один из методов метаанализа), очень сильно напоминающим популярный в индустрии подход «случайный лес» (random forest). Нечто похожее я применяю каждый день в MailChomp.com, пытаясь предсказать, когда какой-нибудь пользователь собирается разослать спам.

После бэггинга мы перейдем к еще одной отличной технике под названием бустинг (boosting). Обе эти техники находят замысловатые способы снова и снова использовать обучающие данные для обучения целого ансамбля классификаторов. Интуитивно они напоминают наивный Байес – глупость, в итоге оказывающаяся умной.