Два брата были сыновьями Педро Суареса де Талаверы и Каталины де Карвахаль. Удача Хуана, несомненно, связана с тем фактом, что он женился на Ане, племяннице Гарсиа де Лоайса. Когда его жена умерла, он стал священником и в конце концов сделался епископом Луго.