Сын фермера в корнвалийских низменностях Энтони Пейн стал известен еще в молодости из-за своего роста и силы. В возрасте 21 года он поступил на службу к сэру Бевилю Гранвилю (хозяину отца) как пастух. В это время рост Энтони был 2.22 м. Однажды зимней ночью его послали на поиски парня, который отправился в лес за дровами с ослом. Вскоре перед глазами удивленных жителей предстала забавная картина: Пейн возвращался, неся на плечах парня и навьюченного осла.

Во время английской революции сэр Бевиль присоединился к силам роялистов, а Пейн, который служил в это время у него в личной охране, неоднократно спасал жизнь своему господину. Смерть догнала его господина в бою под Лантдауном. Видя замешательство солдат сэра Бевиля, Энтони посадил в седло отца, маленького сына сэра Бевиля и таким образом заставил войско вернуться в бой. После реставрации монархии в Англии молодой Гранвиль, который оставался в то время губернатором Плимута, наградил гиганта офицерским чином в артиллерии.