Дн. Толстого за время с 1847 по 1900 гг. вместе с другими рукописными материалами были сданы С. А. Толстой на хранение в Румянцевский музей. Дн. более поздних лет находились у Черткова. С. А. Толстая видела в этом посягательство на свои права и требовала возвращения этих Дн.