Еще в 1048 году, то есть через четыре года после свадьбы, когда, родив ему двух дочерей, Марию и Ингигерду, королева Елисифь оказалась неспособной и дальше рожать детей, Гаральд взял себе в наложницы Тору, дочь влиятельного ярла Торберга Арнасона. И нужно сказать, что эта женщина выполнила главное предназначение королевской наложницы — родила ему двух сыновей, Магнуса (1048–1069) и Олафа (1050–1093), которые впоследствии стали королями, именовавшимися Магнусом II и Олафом III Тихим.