Еще больше простоты: простые правила

Еще один способ упрощения – использование экономных моделей, или простых правил. Экономные модели в реальности выглядят как упрощенные до смешного расчеты на клочке бумаги. Однако в некоторых случаях они могут выдавать поразительно точные результаты.

Эти модели построены на одной особенности множественной регрессии, которая удивляет большинство людей. Допустим, вы используете два прогностических фактора, от которых в значительной степени зависит итоговый прогноз, – их корреляция с конечным результатом составляет 0,60 (ПС=71 %) и 0,55 (ПС=69 %). Предположим также, что эти два прогностических фактора коррелируют друг с другом (коэффициент 0,50). Попробуйте угадать, каков будет ваш прогноз, если два фактора будут в оптимальном соотношении? Ответ вас разочарует: корреляция 0,67 (ПС=73 %). Выше, однако совсем ненамного.

Пример иллюстрирует общее правило: сочетание двух и более коррелирующих между собой прогностических факторов дает лишь немногим более удачный результат, чем лучший из них сам по себе. Именно потому что в реальной жизни факторы почти всегда коррелируют между собой, этот статистический факт способствует применению на практике экономных методов с малым числом предикторов. Простые правила, которые требуют небольшого числа расчетов или обходятся вообще без них, давали в некоторых случаях впечатляюще точные прогнозы, сравнимые с моделями на основе большего количества предикторов.

В 2020 году команда исследователей¹²¹ подвела итоги масштабных усилий по применению экономных методов к различным задачам; например, когда судьи встают перед выбором – освободить обвиняемых под залог до вынесения приговора или нет. Их решение, по сути, является прогнозированием поведения обвиняемого. Если судья неоправданно откажет в залоге и обвиняемого отправят за решетку без необходимости, то конкретный человек и общество понесут значительные издержки. Если же под залог отпустят не того, он может скрыться или даже совершить другое преступление.

Модель, построенная исследователями, использует всего две переменных, от которых наиболее сильно зависит вероятность, что обвиняемый скроется от суда: его возраст (чем старше человек, тем меньше риск побега) и количество прошлых неявок в суд (те, кто нарушал условия освобождения ранее, склонны к рецидивам). Модель переводила эти переменные в баллы, на основании которых и рассчитывался фактор риска. Для этого не требовался компьютер и даже калькулятор.

Протестированная на реальном массиве данных, экономная модель выполнила свою задачу так же хорошо, как статистические модели с использованием значительно большего числа переменных. Она прогнозировала риски лучше, чем это делали практически все судьи.

Те же самые экономичные методы, использующие до пяти параметров с целочисленными весами (от -3 до +3), были применены к разнообразным задачам, таким как оценка степени опасности новообразований по результатам маммографии, диагностике сердечно-сосудистых заболеваний, прогнозированию кредитных рисков. Во всех этих задачах экономные правила показали себя так же хорошо, как более сложные регрессивные модели (хотя в большинстве случаев не так хорошо, как модели на основе методов машинного обучения).

В качестве другой демонстрации возможностей простых правил отдельная команда исследователей^121а изучала сходную, хотя и более специфическую судебную задачу: прогноз рецидивизма. Используя всего две переменных¹²², простые правила оказались способны поспорить с надежностью существующих инструментов, которые использовали 137 переменных, чтобы оценить риски для каждого подсудимого. Неудивительно: эти две переменных (возраст и количество ранее совершенных преступлений) близки к двум факторам в примере с освобождением под залог, и их связь с преступным поведением широко документирована¹²³.

Привлекательность экономных методов состоит в том, что они прозрачны и просты в исполнении. Более того, они имеют преимущество перед более сложными моделями вследствие относительно малых затрат.

Больше сложности: методы машинного обучения

Во второй части нашего обзора мы двинемся в противоположном направлении диапазона – к большей сложности. Что если мы сумеем взять еще больше прогностических факторов, собрать еще больше данных о каждом, выявить взаимосвязи, которые человеку обнаружить не под силу, и создать на их основе модель, которая добьется лучших прогнозов? В сущности, это нам и обещает ИИ.

Продвинутые модели отличает умение работать с очень большими массивами данных¹²⁴, и растущая возможность доступа к таким наборам данных – одна из основных причин стремительного прогресса ИИ в последние годы. Например, благодаря таким массивам появилась возможность механической обработки даже там, где требуется применить правило сломанной ноги. Это несколько загадочное выражение обязано своим появлением воображаемой ситуации, придуманной Милом. Допустим, некая модель разработана, чтобы прогнозировать вероятность посещения кинотеатра сегодня вечером. Если вы случайно узнали, что конкретный человек сломал ногу, то лучше модели представляете, как он проведет вечер – независимо от степени вашего доверия модели.

При использовании простых моделей принцип сломанной ноги дает важный урок тем, кто принимает решения: он сообщает им, когда стоит отвергнуть модель, а когда нет. Если у вас есть не вызывающая сомнений информация, которую модель не примет во внимание, это и есть та самая «сломанная нога», и вам лучше не учитывать рекомендации модели. С другой стороны, порой может случиться так, что вы не согласитесь с моделью даже при отсутствии конфиденциальной информации. В таких случаях соблазн не послушаться модели отражает ваш личный шаблон, который вы применяете к аналогичным предикторам. Когда же этот личный шаблон с высокой степенью вероятности неприменим, следует прислушаться к модели; ваше вмешательство, скорее всего, снизит точность прогноза.

Одна из причин успешной работы моделей на основе методов машинного обучения в сложных задачах – то, что они способны распознавать «сломанные ноги», причем намного лучше, чем кажется людям. Обработав огромный массив данных, включающий очень большое количество случаев, модель может отследить поведение завсегдатаев кинотеатров и в самом деле усвоить, например, что люди, посетившие больницы в те дни, когда они обычно ходят в кино, вероятнее всего, пропустят сегодня вечерний сеанс. Таким образом, усовершенствованные прогнозы редких событий сокращают необходимость человеческого контроля.

В том, что делает ИИ, нет ни магии, ни подлинного интеллекта – главное, найти больше различных сценариев. Как бы мы ни восхищались мощью умной машины, не следует забывать, что искусственному интеллекту потребуется еще некоторое время, чтобы понять, почему сломавший ногу человек не сможет пойти в кино.