Книга: Искусственный интеллект на практике
Назад: 21. The Walt Disney Company. ИИ способен творить чудеса
Дальше: 23. LinkedIn. ИИ преодолевает кризис навыков

22

Instagram

ИИ против буллинга в интернете

Социальная сеть Instagram появилась в 2010 году, но уже целое поколение не представляет себе жизни без нее. Сейчас она принадлежит Facebook. Создавалась сеть для публикации фотографий и видео. На июнь 2018 года она насчитывает 1 млрд активных пользователей, публикуется 95 млн постов ежедневно.

К сожалению, буллинг, домогательства и насилие происходят и в интернете. Instagram объявила, что отслеживать и прекращать нежелательное поведение теперь будет ИИ.

Какие задачи решает ИИ

У оптимистичной новостной ленты, в которой то и дело мелькают симпатичные лица и шикарные пейзажи, есть непарадная сторона. Согласно опросу британской благотворительной организации Ditch the Label, 42% молодых людей подвергались здесь травле — больше, чем в любой другой социальной сети.

В докладе Детского общества, основанного в 2018 году, о влиянии кибербуллинга на психику молодежи говорится: «Предпринимаемые соцсетями меры в отношении кибербуллинга неадекватны и непоследовательны». Кибербуллинг, как и преследование в реальной жизни, наносит глубокую и длительную травму, а в экстремальных случаях заканчивается психическими проблемами и суицидом. Интернет-компании ответственны за ограждение пользователей от травли и оскорблений. Для этого они должны найти компромисс между свободой слова и контентной политикой.

Как применяется ИИ

Instagram внедрила интеллектуальный алгоритм проверки всех комментариев. По умолчанию фильтр включен во всех аккаунтах, но пользователь по желанию может его отключить.

Через фильтр проходит не только текст, но и речь в видеозаписях. Любой подозрительный комментарий — например, обидные слова о чьей-то внешности, расе или поле — автоматически скрывается.

Аккаунты, чьи комментарии скрываются чаще всего, будут проверять живые специалисты и решат, нарушает ли пользователь правила сервиса. В худшем случае его забанят.

Технологии, инструменты и данные

В антибуллинговом фильтре Instagram используется технология обработки естественного языка DeepText, разработанная Facebook. Она ищет в тексте паттерны, обнаруженные в заблокированных комментариях и постах.

С помощью глубокого обучения нейронных сетей DeepText классифицирует текст и его общий смысл. Системы глубокого обучения со временем совершенствуются и учатся отличать шутливые дружеские перебранки от целенаправленных оскорблений.

Как и другие системы обработки естественного языка на базе глубокого обучения, DeepText все лучше понимает сленг, акценты и аллегории. В Facebook утверждают, что от других систем эту технологию отличает чувствительность к оттенкам смысла слов.

Система присваивает словам идентификационные теги и отслеживает частоту их употребления и контекст, а также задает каждому слову позицию в семантической сети. Так она находит взаимосвязи между словами и понимает, когда разными словами описывают одно и то же. Самое интересное, что все это происходит в реальном времени. Система анализирует и классифицирует 1000 текстовых блоков в секунду.

Результат

Антибуллинговая инициатива Instagram только запущена, и компания пока не сообщала о результатах. Но в любом случае без злобных, обидных и издевательских комментариев людям будет гораздо приятнее общаться в социальной сети.

Самое главное

Назад: 21. The Walt Disney Company. ИИ способен творить чудеса
Дальше: 23. LinkedIn. ИИ преодолевает кризис навыков