Франсиско считался незаконнорожденным сыном дворянина Гонсало Писарро: тот совратил его мать – молоденькую сироту, работавшую служанкой в монастыре и изгнанную затем оттуда за беременность. В результате Франсиско получил кличку El Ropero – «сын кастелянши». Хуан являлся братом конкистадора по отцу, сыном Гонсало от другой служанки – Марии Алонсо. Оба бастарда часто подвергались насмешкам при дворе короля за своё низкое происхождение. Этот факт и толкнул обоих на завоевания в дальних землях.
