Как Spotify рекомендует музыку?

Утром каждого понедельника Spotify отправляет своим слушателям список из 30 треков, которые волшебным образом идеально соответствуют их вкусам. Этот плейлист под названием Discover Weekly мгновенно стал популярным: в течение шести месяцев после запуска, в июне 2015 года, он был прислан более 1,7 млрд раз. Но как Spotify настолько хорошо удается узнать предпочтения своих 200 млн пользователей?

Spotify действительно нанимает специалистов, которые вручную создают открытые плейлисты, но подготовить их для всех 200 млн пользователей никоим образом невозможно. Вместо этого Spotify применяет алгоритм, который запускается каждую неделю.

Алгоритм Discover Weekly начинает свою работу с изучения двух основных моментов. Для начала он просматривает все треки, которые прослушал пользователь и которые ему настолько понравились, что он добавил их в библиотеку или плейлист. Эта программа достаточно умна, чтобы понять, что если трек переключили в течение первых тридцати секунд, то, вероятно, он не понравился. Затем алгоритм рассматривает все плейлисты, созданные другими людьми, предполагая, что каждый из них объединен какой-то общей темой; например, может быть плейлист для бега или плейлист Beatles.

Получив эти данные, Spotify использует два метода поиска треков, которые могут понравиться. Первый метод предполагает сравнение двух наборов данных, чтобы выяснить, какие из новых треков относятся к тем, которые нравятся пользователю. Предположим, что кто-то создал плейлист из восьми треков и семь из них есть в библиотеке пользователя. Ему, скорее всего, нравится такая музыка, поэтому Discover Weekly может порекомендовать тот трек, которого нет в его библиотеке.

Алгоритм Spotify для автоматической рекомендации музыки. Источник: Quartz

Эта методика называется «совместная (коллаборативная) фильтрация», и именно ее использует Amazon, чтобы предложить товары, которые могут заинтересовать клиента, исходя из его истории покупок и покупок миллионов других пользователей. Список рекомендуемых фильмов, которые предлагает Netflix, видео, предлагаемые YouTube, и список возможных друзей на Facebook – все это возможно благодаря совместной фильтрации.

Совместная фильтрация становится все более полезной, так как сервис получает больше пользователей. В нашем примере, если у Spotify появляется больше пользователей, то программе легче найти человека с похожим вкусом и, следовательно, легче предложить рекомендацию. Но, по мере роста пользовательской базы, работа таких алгоритмов может стать медленнее и требовать большого объема вычислений.

Второй метод, который использует Spotify для создания плейлиста, – это «профиль вкуса». На основе только тех треков, которые прослушал пользователь и которые ему понравились, Spotify определяет, какие жанры (например, инди-рок или R&B) и поджанры (например, Chamber Pop или New Americana) он предпочитает, и рекомендует музыку этих жанров. Это другая форма стратегии Spotify – предлагать треки на основании ранее прослушанных.

Зачем инвестировать в рекомендацию музыки?

Работа инженеров Spotify для создания этого алгоритма для рекомендации стоит очень дорого – они зарабатывают сотни тысяч долларов в год. Так зачем же компания этим занимается?

Во-первых, отличная система рекомендаций – это коммерчески привлекательная особенность, помогающая Spotify выделяться на фоне конкурентов, например Apple Music. А все потому, что одной только большой музыкальной библиотеки недостаточно. Говоря на языке бизнеса, музыка – это товар. Любой трек в приложении звучит примерно одинаково, будь то Spotify, или Apple Music, или что-нибудь еще – и состоятельный человек может получить лицензию на создание гигантской библиотеки.

Если все музыкальные стриминговые сервисы могут иметь фактически одинаковый набор музыки, Spotify нужна изюминка, которая будет выделять его на фоне конкурентов. И система рекомендаций, безусловно, отвечает всем требованиям – она считается лучше, чем у Apple Music.

И поскольку с привлечением большего количества пользователей совместная фильтрация улучшается, Spotify (у которого уже есть огромное количество пользователей) может продолжить укреплять свое лидерство.

Во-вторых, наличие персональных рекомендаций повышает вероятность пользования этим сервисом. Чем больше людей пользуются Spotify, тем больше алгоритмы узнают о вкусах пользователя и, следовательно, лучше рекомендуют музыку. При частом использовании Spotify подобранная им музыка будет довольно хорошей, и переход на Apple Music, который не знает предпочтений пользователя, будет ошибочным.

Высокая «стоимость переключения» снижает вероятность перехода пользователя к другому поставщику. (Говоря в более широком смысле, любые личные данные, которые вводятся в приложение, например создание плейлистов в Spotify, увеличивают стоимость переключения, поскольку приходится воссоздавать их в любом новом приложении.)

Одним словом, персонализированные плейлисты отлично подходят для слушателей и являются удачным бизнес-ходом для Spotify – неудивительно, что все больше и больше приложений предлагают персональные рекомендации.

Как Facebook решает, что появится в ленте новостей?

Более миллиарда людей ежедневно просматривают свои ленты новостей на Facebook, а американцы тратят на него почти столько же времени, сколько и на живое общение. Лента новостей обладает огромным воздействием, поскольку к ней прикованы взгляды многих пользователей. Она может влиять на настроение, вовлечь в идеологические эхо-камеры или даже повлиять на то, за кого будет отдан голос на выборах. Одним словом, содержание ленты новостей имеет значение. Так как же Facebook решает, что появится в ней?

Упрощенное объяснение алгоритма новостной ленты Facebook. Источник: TechCrunch

В частности, как Facebook выбирает и сортирует сотни (или тысячи) свежих новостей, которые просматриваются ежедневно? Как и Google, Facebook использует алгоритм, выясняя, что является наиболее важным. Существует около 100 тысяч персонализированных факторов, но мы сосредоточимся на четырех основных.

Первый фактор – это автор поста. Facebook покажет пользователю больше постов тех людей, с которыми она общалась (например, с кем больше переписывалась или кого добавила в закладки), предполагая, что он с большей вероятностью заинтересуется их последующими постами.

Второй фактор – качество поста. Чем больше людей заинтересовалось постом (например, по количеству лайков или комментариев), тем интереснее, по мнению Facebook, этот пост и тем выше вероятность того, что он появится в топе ленты новостей.

Третий фактор – тип поста. Facebook определяет, какими типами постов (видео, статьи, фотографии и т. д.) пользователь чаще всего интересуется, и показывает ему больше подобных постов.

Четвертый и основной фактор – новизна: новые истории получают более высокий рейтинг.

Есть еще много факторов. Вот некоторые из них, по версии журнала Time:

Используйте телефон с медленной мобильной связью, и вы увидите меньше видео. Запись «Поздравляю!» в комментариях говорит о том, что пост, скорее всего, касается значимого события в жизни, поэтому он будет вверху ленты. Поставить лайк за статью после того, как вы кликнули на нее, – лучше, чем поставить его раньше, потому что это означает, что вы, вероятнее всего, прочитали хотя бы немного и статья вам понравилась.

Можно сказать, что Facebook действительно старается максимально увеличить вероятность того, что пользователю понравится контент или он оставит комментарий к посту в ленте новостей. Этот показатель называется «активность пользователей». В конце концов, чем больше им нравится их лента новостей, тем больше они будут прокручивать ее вниз, а значит, увидят больше рекламы. Разумеется, реклама – это то, от чего Facebook получает большую часть дохода.

Пример того, как Facebook оценивает сообщения и определяет, что появится в ленте новостей. Источник: TechCrunch

Этот алгоритм также работает на то, чтобы пользователи действовали в интересах Facebook. Каждый хочет, чтобы его посты отображались в топе ленты новостей его друзей, и, поскольку Facebook увеличивает количество вирусных постов, у людей появляется стимул создавать посты, которыми часто делятся. Чем больше репостов, тем больше новых постов, а это значит, что Facebook сможет запустить больше рекламы.

Борьба с фейковыми новостями

Алгоритмы, такие как алгоритм ленты новостей Facebook, – невероятно мощный инструмент, но опасность заключается в том, что хакеры все еще могут легко их обойти. Без контроля со стороны человека алгоритмы могут быть использованы против нас.

Известный пример – эпидемия фейковых новостей, которая охватила Facebook в 2016 году во время американских президентских выборов. Напоминаем, что алгоритм ленты новостей не учитывает правдивость или авторитетность поста; его интересует только максимальная активность пользователей. Распространители фейковых новостей пользовались этим с целью травли политиков, которые были им неугодны, и размещали в Facebook возмутительные и явно ложные новостные статьи. Естественно, такие статьи привлекали много внимания, на них кликали и оставляли под ними комментарии, поэтому алгоритм продвигал их в топ ленты многих пользователей.

К чести компании, с тех пор она выпустила обновления алгоритма новостной ленты, чтобы попытаться ограничить распространение фейковых новостей. В 2018 году Facebook объявила, что изменит свой алгоритм, чтобы сосредоточиться на «значимых социальных взаимодействиях», то есть она будет продвигать свежие новости ваших друзей, а не просто «кормить» информационным материалом. Однако, как признали в компании, выявлять «значимые социальные взаимодействия» гораздо сложнее, чем просто определять количество лайков и кликов по статьям.

Facebook также обращалась к людям, чтобы устранить недостатки в своем алгоритме ленты новостей. (Ирония заключается в том, что алгоритмы предназначены для сокращения объема работы, которую изначально должны были выполнять люди, но в компании признают, что алгоритмы не идеальны.) Например, Facebook представила функции, позволяющие людям отмечать фейковые посты, и начала привлекать фокус-группы, которые прокручивают свои ленты и предоставляют обратную связь специалистам, разрабатывающим алгоритм. (Все правильно, за просмотр Facebook можно получать деньги.)

Алгоритмы – не магические заклинания, управляющие миром. Это просто набор правил (хотя и сложных), написанный другими людьми, чтобы заставить компьютеры выполнять определенную задачу. И, как показывает Facebook, иногда машины и люди должны сотрудничать.