Сам внешний вид Ивановского монастыря намекает на то, что здесь была не только церковь, но и тюрьма. Хотя его башни и крепостные стены построены в XIX веке, они воспроизводят первоначальную архитектуру XVI века, когда каждый монастырь напоминал небольшую крепость.

За этими стенами находили приют многие женщины из аристократических семей, после того как им изменяла судьба. Так, когда Иван Грозный в приступе гнева убил собственного сына, его вдова была заключена сюда до конца своих дней.

В темной истории Ивановского монастыря есть и эпизоды, связанные с так называемой княжной Таракановой и монахиней Досифеей.

Как известно, княжна Тараканова выдавала себя за дочь императрицы Елизаветы от тайного брака с Алексеем Разумовским и утверждала, что она является наследницей русского престола. Путешествуя по Европе, она получала поддержку у различных политических сил и постепенно стала представлять угрозу для России.

Императрица Екатерина II послала в Италию, где в это время находилась дерзкая авантюристка, Алексея Орлова, одного из своих фаворитов. Он соблазнил девушку, которая безумно влюбилась в него, захватил ее и доставил в Санкт-Петербург по фальшивым документам. Там она была посажена в Петропавловскую крепость, где и умерла в 1785 году.

Вскоре после этого другая девушка была тайно привезена из-за границы в Ивановский монастырь и пострижена в монахини под именем Досифеи. Историки считают, что она была родной дочерью императрицы Елизаветы и Разумовского. Вероятно, Екатерина узнала о ее существовании и, наученная горьким опытом, решила посадить возможную соперницу под замок. Досифея прожила в Ивановском монастыре 25 лет в строгой изоляции от других монахинь.

Когда она умерла в 1810 году, то ее похоронили в семейной часовне Романовых в Ново-Спасском монастыре. Тот факт, что на похоронах присутствовали члены императорской семьи, косвенно подтверждает слухи о ее происхождении.

Только однажды в Ивановском монастыре был заслуженно наказан настоящий преступник. Жестокая помещица Дарья Салтыкова, прозванная Салтычихой, которая убивала своих крепостных, и была заключена здесь в 80-х годах XVIII века. Жестокость ее наказания сопоставима с тяжестью совершенных ею преступлений. Она была заключена в подвал под внешней стеной, отгороженный от улицы толстой решеткой. Все проходившие оскорбляли ее, плевали и кидали камни или колотили палками. Ее крики были слышны до 1801 года, когда смерть освободила ее от мучений.