Агриппа был женат трижды и имел семь человек детей. Биографы знают имена только трех сыновей: Гэмона (род. 1522), Генриха (род. 1524) и Иоанна (род. 1525). Из остальных некоторые умерли в раннем детстве. Сам Агриппа в письме, относящемся к 1528 г. (Ер. V, 43), насчитывает в своей семье десять человек: отца, мать, четырех детей, служанку, двух слуг и мальчика. Имена служанок и слуг упоминаются в переписке Агриппы так же, как и имена собак (Ер. V, 76, 84 etc.). В собрании сочинений Агриппы приведено пять латинских стихотворных эпитафий Filiolus’y.