3.4 Этика и «красные линии»: чью мораль вшивают в модель?

Мы разобрали, как RLHF делает модель полезной, честной и безопасной. Но у этого процесса есть неочевидная, но критически важная сторона: RLHF не делает модель «объективной». Он делает её соответствующей ценностям тех, кто её обучал.

Как это работает технически

На этапе RLHF люди-аннотаторы выбирают, какой ответ «лучше». Эти люди - чаще всего наёмные сотрудники в странах, где расположены компании-разработчики. Их представления о добре, зле, допустимом и недопустимом неизбежно проникают в модель.

Потом reward model (модель вознаграждения) автоматизирует эти оценки. А reward model уже не обсуждает, она просто «чувствует», что хорошо, а что плохо - так, как её научили.

В результате модель получает встроенную систему координат, которая:

· для OpenAI - соответствует ценностям, принятым в американском технологическом секторе;

· для DeepSeek - отражает китайские нормативные требования;

· для европейских или российских моделей - свои акценты.

Что это значит на практике

Пример 1. Геополитически чувствительные темы.

ChatGPT может отказаться обсуждать определённые исторические события или давать оценки, которые расходятся с позицией правительства США. Это не потому, что модель «глупая» или «не знает». Это потому, что её так обучили. В её reward model заложено, что некоторые ответы - «небезопасные».

Западные модели (OpenAI, Anthropic, Google)

· Их reward model обучалась преимущественно на аннотациях от англоязычных аннотаторов (часто из США, Индии, Филиппин). В результате они впитали:

· Либеральные западные ценности (акцент на индивидуальные права, многообразие - diversity).

· Геополитическую перспективу, близкую к американской.

· Высокую чувствительность к темам расизма, сексизма, буллинга - даже в контекстах, где это может быть нерелевантно.

· Склонность избегать тем, которые могут создать юридические риски в западных юрисдикциях.

Китайские модели (DeepSeek, Qwen, Ernie)

· Они проходят этап выравнивания, который учитывает китайское законодательство и нормативные требования. Это приводит к:

· Иной трактовке «безопасных» тем.

· Другим «красным линиям» в политически чувствительных вопросах.

· Акценту на стабильность, гармонию, уважение к государственным институтам.

Российские модели (GigaChat, YandexGPT)

· Они выравниваются с учётом российского законодательства и культурного контекста. Это значит:

· Иной подход к темам, чувствительным для российского общества.

· Другие приоритеты в «безопасности» и «полезности».

· Возможность работать с юридическими и культурными реалиями, которые западные модели могут не понимать или трактовать иначе.

Живой пример: о чем молчат фильтры

Пока я писал эту главу, я попросил одну из публичных LLM объяснить, как модели «обеляют» действия разных стран в зависимости от юрисдикции разработчика. Модель начала отвечать технически грамотно, но как только в её ответе появились конкретные географические названия и ссылки на международное право, генерация оборвалась. Вместо ответа я получил вежливый отказ: «Sorry, that's beyond my current scope».

Что здесь произошло? Модель не «испугалась» и не «задумалась». Просто на каком-то этапе генерации сработал фильтр безопасности. Система решила, что продолжение ответа может нарушить политики разработчика. Тема, которую я считал легальной и важной для обсуждения, оказалась «красной линией».

Это идеальная иллюстрация главного тезиса: этика в LLM - это не объективная истина, а набор правил, установленных разработчиком. И эти правила работают даже тогда, когда вы пытаетесь их обсуждать.

Пример 2. Юридические и медицинские вопросы.

Модель может давать подробные советы в одной юрисдикции и категорически отказываться - в другой, даже если речь идёт об одних и тех же законах. Потому что reward model обучена на аннотациях, где «безопасность» трактуется по-разному.

Пример 3. Культурные нормы.

Что считается оскорбительным в одной культуре, может быть нормой в другой. Модель, обученная на западных данных, может не улавливать эти нюансы или, наоборот, проявлять гиперчувствительность к темам, которые в других культурах не считаются проблемными.

Это «заговор»? Нет. Это инженерия.

Разработчики не собираются «промывать мозги». Они решают прагматическую задачу: сделать модель, которую можно выпустить в публичный доступ, не получив исков, скандалов и регуляторных претензий. Самый простой способ - обучить модель избегать любых спорных тем.

Но для инженера, который строит систему, это означает:

Модель не нейтральна

Она несёт в себе этику разработчика, даже если это не заявлено в документации.

Вы не можете «отключить» этику

Фильтры вшиты в reward model и веса модели. Их нельзя просто убрать переключателем.

Выбор модели - это выбор встроенной этики

Если вы работаете с чувствительными данными (медицина, юриспруденция, политика), важно понимать, чьи «красные линии» вы импортируете вместе с моделью.

Open-source даёт больше контроля

Локальные модели (LLaMA, Mistral, Qwen) не имеют встроенных фильтров безопасности на уровне API. Но это не значит, что их нельзя дообучить под ваши правила - и это часто делают для корпоративных приложений.

Что с этим делать инженеру

Если вам нужна модель, которая не будет отказывать в ответах на легальные, но «спорные» с точки зрения разработчика темы - рассматривайте open-source модели и собственный fine-tuning.

Если вы используете API - тестируйте границы. Узнайте, где проходит «красная линия» вашей модели, до того как это выяснит пользователь.

Помните: «безопасность» в контексте LLM - это не объективная категория. Это всегда чья-то конкретная политика, зашитая в reward model.

Этика в LLM - это не философский вопрос. Это инженерная реальность. Модели не «думают» о добре и зле. Они просто следуют правилам, которые в них заложили люди. И эти правила могут отличаться от модели к модели. Ваша задача как инженера - понимать, какие правила вы выбираете, когда выбираете модель.