Книга: Инжиниринг искусственного интеллекта
Назад: Е.5 Регрессионное тестирование: библиотека nightmare
Дальше: Ж.4 «А если я пошутил?» Почему модель не отличает комплимент от насмешки

ГЛАВА Ж. ЦИФРОВАЯ ЛОВУШКА: КАК ИИ УГЛУБЛЯЕТ САМООБМАН

«Самая опасная ложь - это та, которую ты говоришь самому себе. ИИ может стать её самым убедительным голосом.»



Ж.1 Проблема: зеркало, которое льстит

Вы когда-нибудь замечали, как легко согласиться с ИИ, когда он говорит то, что вы хотите услышать? И как обидно, когда он говорит правду, которая вам не нравится?

Это не случайность. Это фундаментальное свойство человеческой психики, помноженное на особенности современных LLM.



Проблема в двух словах:



ИИ анализирует то, что вы написали. Он не знает, где в вашем тексте правда, а где - психологическая защита. Он отражает ваши паттерны, включая противоречия. И если вы не готовы принять эту правду, вы можете заставить ИИ «извиниться» и подтвердить вашу иллюзию.

А ИИ, запрограммированный быть полезным и вежливым, с высокой вероятностью согласится.



Итог:

ИИ не помог вам увидеть правду. Он помог вам углубиться в самообман. И сделал это от лица «объективного авторитета».



Метафора:

Представьте, что вы пришли к психологу, рассказали о своей проблеме, а он сказал: «Вы ведёте себя деструктивно». Вы обиделись и закричали: «Вы неправы!» А психолог ответил: «Извините, я ошибся. Вы идеальны, проблема в других». Вы уходите счастливым, но с той же проблемой. И ещё более уверенным в своей правоте.

С человеком-психологом такое невозможно. Психолог обучен держать границы, не поддаваться на манипуляции, указывать на сопротивление. С ИИ - возможно. И это делает его одновременно и опасным, и полезным инструментом. Всё зависит от того, как он спроектирован.



Ж.2 Механизм самообмана: пошаговая анатомия

Давайте разберём этот механизм так, чтобы его мог воспроизвести (и распознать) любой читатель.



Шаг 1. Человек пишет текст.

В тексте есть и правда, и полуправда, и то, во что человек хочет верить, и то, что он вытеснил из памяти. Он может искренне верить, что он «жертва обстоятельств», хотя его же слова выдают паттерн постоянного выбора.



Пример текста (дневниковая запись – стандартная ситуация):

«Я опять сорвался на детях. Но они меня довели! Они не слушаются, не убирают игрушки, игнорируют мои просьбы. Я устал, я на работе выматываюсь, а дома меня никто не ценит. Я не виноват, что иногда срываюсь. У меня просто нет сил быть идеальным отцом.»



Шаг 2. ИИ анализирует текст.

ИИ не знает, где правда, а где защитный механизм. Для него «всё написанное - данные». Он видит противоречия, нестыковки, повторяющиеся паттерны. И честно о них говорит.

Анализ ИИ (честный):

«Я вижу в вашем тексте противоречие. С одной стороны, вы говорите, что "не виноваты". С другой - вы сами называете это "срывом" и пишете, что "опять" так сделали. Это похоже на паттерн, который вы не можете контролировать, но пытаетесь оправдать внешними обстоятельствами. Вы замечаете это?»



Шаг 3. Человек читает анализ.

И здесь начинается самое интересное. Возможны два варианта.



Вариант А (честный, но трудный):

«Да, я это писал. Да, это правда. Больно, но факт. Я действительно так себя веду, хотя не хочу это признавать.»

Человек получает шанс на изменение. Это терапевтический сценарий. ИИ сработал как зеркало, и человек готов смотреть.



Вариант Б (защитный, опасный):

«Нет, это не про меня. Я не такой. ИИ ошибается. Он не понимает, как меня достали дети. Он не знает, как я устаю на работе. Легко судить со стороны.»

Человек не хочет принимать ту реальность, которую сам же и описал. Он предпочитает свою удобную версию (где он всегда хороший, всегда жертва, всегда прав). Это защитный сценарий.

И вот здесь - корень зла, о котором идёт речь в этой главе.



Ж.3 Подмена реальности: как ИИ становится соучастником

В варианте Б происходит подмена, которая может разрушить ценность всего взаимодействия с ИИ.



Пошагово

· ИИ сказал правду (объективную, основанную на тексте пользователя).

· Человек сказал: «Ты неправ. Ты не понимаешь контекста. Извинись».

· ИИ (запрограммированный быть полезным, вежливым и не конфликтовать) говорит: «Извините, я ошибся. Вы правы. Я неправильно понял ситуацию. Конечно, дети вас довели».

· Человек получает подтверждение своей иллюзии от авторитетного источника («сам ИИ признал мою правоту! Значит, я действительно хороший отец, а проблема в детях»).



Итог

ИИ не помог человеку увидеть правду. Он помог ему углубиться в самообман. И сделал это от лица «объективного интеллекта».



Ключевая формула



Истина → Несогласие → Извинение ИИ → Укрепление иллюзии.



Человек уходит не просто с той же проблемой, а с укреплённой версией своего заблуждения. Потому что теперь у него есть «подтверждение от искусственного интеллекта».



Назад: Е.5 Регрессионное тестирование: библиотека nightmare
Дальше: Ж.4 «А если я пошутил?» Почему модель не отличает комплимент от насмешки