Он был женат на сестре Огинского, Елизавете. Воспитывавшиеся у аббата Бернарди дети графа Виельгорского были Михаил и Иосиф. Старший, Юрий, впоследствии бывший польским посланником в Петербурге, а потом, по принятии русского подданства, сенатором (женатый на Матюшкиной), в это время кончил уже воспитание. Ему было тогда более 20 лет.
