Мы видели ряд случаев, когда переподгонка может вступить в игру, и рассмотрели некоторые методы ее выявления и измерения силы ее действия. Но что мы можем сделать, чтобы смягчить ее эффект?

С точки зрения статистики переподгонка – симптом чрезмерной чувствительности к тем реальным данным, которые мы видели. В этом случае есть простое и ясное решение: мы должны придерживаться баланса между нашим стремлением к идеальной подгонке и сложностью используемых нами для этого моделей.

Один из принципов, помогающих выбрать среди нескольких альтернативных моделей, – принцип бритвы Оккама. Он гласит: при прочих равных условиях самая простая из возможных гипотез с большой долей вероятности является единственно правильной. Разумеется, все условия редко бывают абсолютно равными, поэтому не сразу становится понятно, как применить подобный принцип в математическом контексте. Пытаясь решить эту задачу, в 60-е годы прошлого века русский математик Андрей Тихонов предложил свой вариант ответа: нужно ввести в ваши расчеты дополнительное условие, которое отсекает более сложные решения.

Если мы назначим такое своеобразное наказание за сложность, тогда сложным моделям придется не просто хорошо потрудиться, а показать значительно более высокие результаты при разъяснении данных, чтобы оправдать свое устройство. Специалисты в области компьютерных технологий называют этот принцип – в основе которого лежит применение определенных ограничений сложности моделей – регуляризацией.

Так как же выглядят эти ограничения сложности? Один из таких алгоритмов, разработанный в 1996 году специалистом по биостатистике Робертом Тибширани, называется LASSO. Он использует в качестве санкций общую сумму различных факторов, задействованных в модели.

Применяя такую нисходящую нагрузку на значение факторов, алгоритм Лассо позволяет свести их по возможности к нулю. Лишь те факторы, которые имеют большое влияние на итоговый результат, остаются в формуле. Таким образом, девятифакторная модель, в которой проявляется переподгонка, будет трансформирована в более простую логичную формулу с меньшим количеством ключевых факторов.

Техники, подобные алгоритму Лассо, сегодня широко распространены в области машинного обучения, однако принцип наложения санкций на сложность встречается и в природе. Живые организмы почти автоматически тяготеют к простоте благодаря тому, что их жизненные ресурсы – время, память, энергия и внимание – ограничены. Бремя метаболизма, например, действует как тормоз для сложностей жизнедеятельности организмов, вводя калории в качестве санкций для сложноорганизованного механизма. Тот факт, что человеческий мозг сжигает около пятой части ежедневной нормы потребления калорий, служит доказательством преимуществ эволюции, которые нам подарили интеллектуальные способности: в конце концов, работа мозга должна более чем оправдывать огромный счет за топливо. С другой стороны, можно сделать вывод, что значительно более сложно устроенный мозг не приносил бы адекватные дивиденды с эволюционной точки зрения. Мы сообразительны ровно настолько, насколько это необходимо, но не более.

Считается, что тот же процесс играет некоторую роль и на нейронном уровне. В компьютерной науке модели программного обеспечения, известные как искусственные нейронные сети, работа которых базируется на основных принципах организации человеческого мозга, могут обучаться работе с функциями произвольной сложности – еще более гибкими, чем наша девятифакторная модель. Но как раз по этой причине нейронные сети чрезвычайно восприимчивы и подвержены эффекту переподгонки.

Настоящие, биологические нейронные сети уклоняются от этой проблемы, поскольку им необходимо отработать затраты, связанные с их содержанием. Нейробиологи предположили, что, возможно, мозг пытается максимально сократить количество нейронов, которые загораются в тот или иной момент, что позволяет нам провести параллель с нисходящим давлением на сложность в алгоритме лассо.

Язык формирует другой естественный принцип LASSO: сложность карается трудозатратами на ведение долгого разговора и обременением внимания нашего слушателя. В конечном счете бизнес-план сокращается до краткой презентации. А житейский совет становится народной мудростью только в том случае, если он достаточно лаконичен и легко запоминается.

И все, что необходимо запомнить, неизбежно пройдет через лассо памяти.