Приобретение Ареццо ознаменовалось во Флоренции торжественными празднествами, подобными тем, какими повсюду отмечаются военные победы. Роскошествовало не только государство, но и частные лица, ибо последние, соревнуясь с государством, устраивали свои празднества. Однако роскошью и великолепием затмили всех Альберти — пышность устроенных ими увеселений и турниров достойна была скорее каких-нибудь государей, чем частных лиц. Все это усилило зависть, вызывавшуюся этим семейством, и она в сочетании с подозрениями правительства насчет мессера Бенедетто, стала причиной гибели последнего. Те, кто управлял государством, не могли взирать на него спокойно: они все время боялись, что он с помощью своих сторонников восстановит все свое влияние на народ и изгонит их из города. Они не знали, что следует предпринять, а в это время мессер Бенедетто был гонфалоньером народных отрядов, и вот по жребию гонфалоньером справедливости стал его зять мессер Филиппо Магалотти. Это обстоятельство еще усугубило опасения грандов, которые стали бояться, как бы такое усиление мессера Бенедетто не оказалось опасным для государства. Желая без особого шума принять нужные меры, они подговорили Безе Магалотти, родича и врага Филиппо, донести Синьории, что Филиппо не достиг еще возраста, требуемого для того, чтобы занимать этот пост, и потому не может и не должен его получить.

Дело это обсудили в Синьории, и некоторые ее члены из личной вражды, а другие для того, чтобы не поднимать новой смуты, постановили, что мессер Филиппо данной должности не соответствует, и вместо него назначили Бардо Манчини, человека резко враждебного плебейской партии и непримиримого врага мессера Бенедетто. Едва вступив в должность, новый гонфалоньер созвал балию, каковая, занимаясь упорядочением государственных дел, приговорила к изгнанию мессера Бенедетто Альберти, а остальных членов его семейства, за исключением мессера Антонио, объявила предупрежденными. Перед отъездом из Флоренции мессер Бенедетто собрал всех своих старших родичей, и, видя, что они огорчены и глаза их полны слез, сказал:

«Вы видите, отцы мои и близкие, как судьба нанесла мне жестокий удар и нависла угрозой над вашими головами. Меня это не удивляет, да и вам удивляться не следует. Так всегда бывает с теми, кто среди злонамеренных людей старается совершить благое дело и поддержать то, что большинство стремится низвергнуть. Любовь к отечеству сблизила меня с мессером Сальвестро Медичи и заставила отойти от мессера Джорджо Скали. Она же вызвала у меня ненависть к поведению нынешних наших правителей. И хотя нет сейчас никого, кто мог бы покарать их, они не желают слышать от кого-либо даже упреков. Я рад, что изгнание мое избавляет их от страха не только передо мной, но и перед всеми, кто, как им это хорошо известно, понял, какие они тираны и преступники. Вот почему нанесенный мне удар есть только угроза всем другим. Я лично не жалуюсь, ибо почет, которым окружала меня свободная родина, не может отнять у меня отечество, погрязшее в рабстве, и я всегда буду находить больше радости в воспоминании о прошлой моей жизни, чем огорчения от несчастий, связанных с изгнанием. Горько мне, конечно, оттого что отечество мое во власти кучки людей, преисполненных гордыни и жадности. Горько мне за вас, так как боюсь я, что беды, ныне закончившиеся для меня и только начинающиеся для вас, обрушатся на головы ваши еще более жестоко, чем на мою. Поэтому я призываю вас укрепить души ваши перед лицом беды и вести себя так, что если поразит вас какое злосчастье, а грозит вам весьма многое, каждый в нашем городе знал бы, что вы ни в чем неповинны и за случившееся с вами никак не ответственны».

Затем, чтобы за пределами отечества о чистоте души его составилось мнение столь же высокое, как и во Флоренции, он отправился в паломничество ко Гробу Господнему. Возвращаясь же оттуда, он скончался на острове Родос. Останки его доставлены были во Флоренцию и с величайшим почетом погребены теми же самыми людьми, которые при жизни донимали его оскорблениями и клеветой.