Сестры Нельé приходились правнучками Гортензии Манчини (1646–1699), в замужестве герцогини де Мазарен, племянницы знаменитого кардинала Мазарини, которую считали одной из самых красивых, пленительных и распутных женщин того времени. Помимо множества скандальных романов, она побывала также любовницей английского короля Карла II и князя Монакского. Матерью сестер была маркиза Арманда-Фелиси де Майи-Нелье (1691–1729), которая состояла в любовницах герцога де Ришелье. Не желая делить его склонность с соперницей, виконтессой де Полиньяк, она стрелялась с ней на дуэли и была ранена в плечо.