2. КАК ОТЛИЧИТЬ ТЕКСТ, СГЕНЕРИРОВАННЫЙ LLM, ОТ ЧЕЛОВЕЧЕСКОГО

Вы уже знаете, как устроены LLM изнутри. Теперь давайте посмотрим снаружи - на то, что они производят. И зададим неудобный вопрос: можно ли по тексту понять, что его автор - не человек, а нейросеть?

Короткий ответ

Да, часто можно. Особенно если текст не подвергался постредактированию.

Длинный ответ

Ни один признак по отдельности не даёт 100% гарантии. Но чем больше признаков совпадает - тем выше вероятность, что перед вами LLM.

1. Пунктуация и типографика (самые надёжные маркеры)

LLM генерируют «типографски правильные» тексты. Люди в мессенджерах, комментариях и даже в деловой переписке этим пренебрегают.

Почему LLM так делает?

Потому что обучался на «чистых» текстах - книгах, статьях, документации. А люди пишут быстро, не заботясь о типографике.

2. Лексика и синтаксис (языковые штампы)

LLM любят определённые обороты и структуры. Люди — гораздо меньше.

3. Структура текста (как организован абзац и весь текст)

LLM мыслят «симметрично» и «завершённо». Человек может оборвать мысль на полуслове.

4. Мета-признаки (содержательные)

5. Контрпримеры (когда ИИ маскируется)

Современные промпты могут попросить модель:

· использовать короткое тире (-);

· ставить случайные опечатки (специально обучать её на «грязных» текстах);

· добавлять слова-паразиты;

· писать в нижнем регистре;

· эмулировать человеческую пунктуацию и хаотичную структуру.

В этих случаях большинство признаков перестают работать.

Но:

специально сделанные опечатки часто выглядят неестественно (одна опечатка на 10 000 символов - нечеловечно);

хаотичная структура у LLM всё равно сохраняет скрытую симметрию (абзацы разной длины, но количество предложений в них распределено странно равномерно).

6. Практический чек-лист (для быстрой оценки)

Перед вами текст. Пройдите по списку - чем больше «да», тем вероятнее, что текст сгенерировала LLM.

Интерпретация

0–4 признака - скорее всего, человек.

5–9 признаков - возможно, LLM с постредактированием или человек с хорошей грамотностью.

10+ признаков - почти наверняка LLM (или очень педантичный автор – есть и такие, по себе знаю).

7. Что делать, если вы не хотите, чтобы ваш текст опознали как LLM?

Несколько простых приёмов:

· Замените длинные тире на дефисы (или на два дефиса через пробел - это имитирует слепую печать).

· Уберите кавычки-ёлочки, поставьте обычные двойные или одинарные.

· Добавьте одну-две опечатки (но естественные, не «абвгде»).

· Напишите «в общем», «типа», «короче» один-два раза.

· Оборвите один из абзацев на полуслове.

· Добавьте обращение к читателю («вы понимаете?», «согласны?»).

· Уберите итоговое «в заключение» - просто закончите текст.

· Люди не идеальны. Чем более «стерильный» текст - тем больше подозрений.

Идеальная грамотность, типографическая красота, структурная симметрия и отсутствие слов-паразитов - главные признаки того, что текст писал не человек, а LLM. Но если автор захочет скрыться - он это сделает. А вы просто теперь знаете, куда смотреть.

3. ГЛУБИННЫЕ ВОПРОСЫ ЮРИСТА: КТО ОТВЕЧАЕТ, КОГДА ИИ ОШИБАЕТСЯ

Эта книга - об инженерии, а не о юриспруденции. Но вы не сможете спать спокойно, внедряя ИИ в продакшен, если не понимаете, кто заплатит, когда (не если, а когда) модель ошибётся.

В этом приложении - короткие ответы на самые частые вопросы инженеров и продактов. Никакой воды, только суть. Если нужны детали - идите к юристу. Но хотя бы знать, о чём спрашивать, вы будете.

Вопрос 1. Кто вообще отвечает за действия ИИ? Модель же сама принимает решения.

Ответ:

Юридически - всегда человек или компания. ИИ - инструмент, как топор, Excel или автопилот. Топором можно забить гвоздь, а можно убить. Отвечает тот, кто взял его в руки и не обеспечил безопасность.

Конкретно

Уголовная ответственность - на человеке (разработчике, владельце, операторе), если доказан умысел или грубая неосторожность.

Гражданская - на компании (иск пользователя).

Административная - на компании (штраф от регулятора).

ИИ не может быть ответчиком в суде. Пока.

Вопрос 2. Мой чат-бот посоветовал клиенту опасную диету. Клиент попал в больницу. Кто платит?

Ответ:

Скорее всего - вы (ваша компания).

Суд спросит:

· Был ли дисклеймер «Я не врач, не медицинский совет»?

· Был ли HITL (человек в контуре) для медицинских вопросов?

· Логируется ли, что модель сказала?

Если дисклеймера нет, HITL не настроен, а модель просто «ответила как умела» - вы проиграете. Даже если модель была GPT-4.

Практическое правило

Медицина, финансы, юриспруденция, психология - без HITL и дисклеймера не выпускайте.

Вопрос 3. А если агент сам удалил файлы клиента? Я же не приказывал.

Ответ:

Ваша ответственность. Суд скажет: «Вы дали агенту права на удаление. Вы не реализовали подтверждение (human-in-the-loop). Вы не ограничили инструменты. Ответственность - на вас».

Агент - это программа, которую вы настроили. Если он сделал то, на что вы ему дали права - вы и отвечаете.

Практическое правило

Любое действие с необратимыми последствиями (удаление, запись, отправка, перевод денег) - только с подтверждением человека. Агент может предложить, но не исполнять.

Вопрос 4. Модель отказала пользователю в кредите. Пользователь говорит, что это дискриминация. Кто отвечает?

Ответ:

Компания-владелец системы. Даже если модель «сама так решила».

Суд будет разбирать:

На каких данных обучалась модель? (Нет ли там расового, гендерного, возрастного перекоса?)

Может ли компания объяснить решение? (GDPR в Европе требует «права на объяснение» - прямо закреплено в законе.)

Был ли человек, который утвердил отказ?

Если человек просто нажал «согласен с моделью» - он тоже ответит. Если модели не доверяли и решение принимал человек - ответственность на нём.

Практическое правило

Всё, что связано с правами и свободами человека (кредиты, работа, страховка, медицина) - HITL строго обязателен. И логируйте, почему модель дала тот или иной ответ.

Вопрос 5. А что в России говорят законы? 152-ФЗ, 115-ФЗ - это про что?

Ответ: Коротко по каждому

Вопрос 6. А в Европе? Что такое AI Act и чем он нам грозит, если мы работаем с европейцами?

Ответ:

AI Act - первый в мире закон, который регулирует ИИ по уровням риска.

EU AI Act был принят 13 марта 2024 года. Окончательное юридически обязательное вступление в силу произошло 1 августа 2024 года, после чего последовал официальный отсчёт до наступления различных требований.

С полным текстом закона можно ознакомиться по ссылкам ниже:

EUR-Lex (официальный источник ЕС): https://eur-lex.europa.eu/eli/reg/2024/1689/oj

Работаете с европейскими клиентами? Ваш кредитный скоринг или HR-фильтр подпадает под высокий риск. Готовьте документацию и HITL.

Вопрос 7. Что значит «право на объяснение» из GDPR ?

Ответ:

В Европе гражданин может потребовать: «Объясните, почему мою заявку отклонила автоматическая система». И вы обязаны дать понятное человеку объяснение.

Нельзя сказать: «Это нейросеть, мы не знаем почему». Штраф - до €20 млн.

Практическое правило

Если ваша система принимает решения, влияющие на людей, вы должны уметь объяснить логику хотя бы на уровне: «Ваша заявка отклонена, потому что: [список факторов с весами]». LLM-as-a-Judge в этом не помощник - нужна классическая ML-модель или чёткая эвристика.

Вопрос 8. А если я использую open - source модель и дообучил её сам? Я отвечаю за всё, что она делает?

Ответ:

Да. Выпустив модель в мир (или даже просто используя внутри компании), вы становитесь оператором.

Отвечаете:

· За качество данных (не было ли там PII или дискриминации)

· За безопасность (не уязвима ли модель к инъекциям)

· За выходные фильтры (чтобы модель не генерировала опасный контент)

· За ущерб, который модель причинила

Практическое правило

Open-source не значит «бесплатно с точки зрения ответственности». Это значит «ответственность полностью на вас».

Вопрос 9. Где грань между «ИИ ошибся» и «я плохо его ограничил»?

Ответ:

Вот тест для суда (упрощённо)

Вопрос 10. Что мне сделать, чтобы спать спокойно? Три самых важных правила.

Ответ:

HITL на всё необратимое и юридически значимое. Удаление файлов, отправка денег, медицинский совет, отказ в кредите, увольнение - только после подтверждения человека.

Логируй всё. Каждый шаг агента, каждое рассуждение, каждый вызов API. Без логов в суде вы - «чёрный ящик», и суд толкует сомнения против вас.

Ставь дисклеймеры и фильтры. «Я не врач», «Я не юрист», «Не является офертой» - звучит скучно, но спасает от исков. А выходной фильтр на PII и опасный контент - спасает от регулятора.

И помните

ИИ не может быть ответчиком. Ответчик - вы. Хотите спать спокойно - встройте защиту от дурака (включая себя) на всех уровнях.