Социальная сеть Instagram появилась в 2010 году, но уже целое поколение не представляет себе жизни без нее. Сейчас она принадлежит Facebook. Создавалась сеть для публикации фотографий и видео. На июнь 2018 года она насчитывает 1 млрд активных пользователей, публикуется 95 млн постов ежедневно.
К сожалению, буллинг, домогательства и насилие происходят и в интернете. Instagram объявила, что отслеживать и прекращать нежелательное поведение теперь будет ИИ.
У оптимистичной новостной ленты, в которой то и дело мелькают симпатичные лица и шикарные пейзажи, есть непарадная сторона. Согласно опросу британской благотворительной организации Ditch the Label, 42% молодых людей подвергались здесь травле — больше, чем в любой другой социальной сети.
В докладе Детского общества, основанного в 2018 году, о влиянии кибербуллинга на психику молодежи говорится: «Предпринимаемые соцсетями меры в отношении кибербуллинга неадекватны и непоследовательны». Кибербуллинг, как и преследование в реальной жизни, наносит глубокую и длительную травму, а в экстремальных случаях заканчивается психическими проблемами и суицидом. Интернет-компании ответственны за ограждение пользователей от травли и оскорблений. Для этого они должны найти компромисс между свободой слова и контентной политикой.
Instagram внедрила интеллектуальный алгоритм проверки всех комментариев. По умолчанию фильтр включен во всех аккаунтах, но пользователь по желанию может его отключить.
Через фильтр проходит не только текст, но и речь в видеозаписях. Любой подозрительный комментарий — например, обидные слова о чьей-то внешности, расе или поле — автоматически скрывается.
Аккаунты, чьи комментарии скрываются чаще всего, будут проверять живые специалисты и решат, нарушает ли пользователь правила сервиса. В худшем случае его забанят.
В антибуллинговом фильтре Instagram используется технология обработки естественного языка DeepText, разработанная Facebook. Она ищет в тексте паттерны, обнаруженные в заблокированных комментариях и постах.
С помощью глубокого обучения нейронных сетей DeepText классифицирует текст и его общий смысл. Системы глубокого обучения со временем совершенствуются и учатся отличать шутливые дружеские перебранки от целенаправленных оскорблений.
Как и другие системы обработки естественного языка на базе глубокого обучения, DeepText все лучше понимает сленг, акценты и аллегории. В Facebook утверждают, что от других систем эту технологию отличает чувствительность к оттенкам смысла слов.
Система присваивает словам идентификационные теги и отслеживает частоту их употребления и контекст, а также задает каждому слову позицию в семантической сети. Так она находит взаимосвязи между словами и понимает, когда разными словами описывают одно и то же. Самое интересное, что все это происходит в реальном времени. Система анализирует и классифицирует 1000 текстовых блоков в секунду.
Антибуллинговая инициатива Instagram только запущена, и компания пока не сообщала о результатах. Но в любом случае без злобных, обидных и издевательских комментариев людям будет гораздо приятнее общаться в социальной сети.