Зиму 1846 года архимандрит Игнатий пробыл безвыходно в келлии по причине тяжкой болезни, а с наступлением весны 1847 года он подал прошение о сложении с него настоятельской должности и увольнении на покой в Николо-Бабаевский монастырь Костромской епархии. Вместо увольнения на покой ему разрешен был только 11-месячный отпуск для поправления здоровья в указанный им Бабаевский монастырь. По отъезде архимандрита в этот отпуск, Государь Император, встретив однажды Чихачова, спросил о здоровье его товарища и приказал написать ему, что нетерпеливо ожидает его возвращения.

Летом 1847 года архимандрит Игнатий прибыл в Николо-Бабаевский монастырь, где и занялся серьезным лечением. Ему отведены были келлии, состоявшие из четырех маленьких комнат, в отдельном мезонине над келлиями настоятеля. Помещение это, разобщенное с прочим жильем, весьма удобно было для безмолвия. С одной стороны из окон келлии открывался величественный вид обширной местности, орошаемой рекой Волгой, и представлял усладительное зрелище для отшельника в минуты отдохновения. Здесь архимандрит Игнатий написал много духовных назидательных писем к разным лицам, в числе их ряд писем к некоему иноку Леониду, озаглавленных так: «К иноку, занимающемуся умным деланием». Здесь написана была статья «Бородинский монастырь», которая не вошла в собрание сочинений; поводом написания этой статьи служило посещение архимандритом Бородинского монастыря, на пути следования в монастырь Бабаевский, по приглашению тогдашней настоятельницы, игумении Марии Тучковой. Через 11 месяцев, в 1848 году, архимандрит Игнатий возвратился в Сергиеву пустынь. Продолжительное безмолвие в пребывании уединенном, на Бабайках, расположило его еще более к совершенному отшельничеству, к которому он постоянно стремился.

Понеся великую утрату в кончине возлюбленного Монарха своего Государя Императора Николая Павловича и не оставляя намерения переселиться на покой, архимандрит Игнатий в 1856 году предпринял путешествие в скит Оптиной пустыни исключительно с целью устроить там желанное пребывание в безмолвии. Он уже совсем было условился с Оптинским настоятелем о приготовлении для себя келлии в скиту и о переделке ее, дал 200 рублей задатку и возвратился в С.-Петербург, где, по обстоятельствам, не от него зависящим, должен был на неопределенное время отложить исполнение своей мысли о переселении на покой и предать дальнейшую участь свою воле Божией.

В 1856 году скончался С.-Петербургский митрополит Никанор; назначенный на его место митрополит Григорий хорошо знал архимандрита Игнатия и даже состоял с ним в духовно близких отношениях, а потому в видах пользы для Церкви Божией предложил ему епископскую кафедру в Ставрополе Кавказском. По получении Высочайшего соизволения 23 октября 1857 года происходило в Святейшем Синоде наречение архимандрита Игнатия во епископа Кавказского и Черноморского, а 27-го — самая хиротония в Казанском соборе при весьма многочисленном стечении народа. На другой день новопоставленный епископ совершил Литургию в Лаврской Крестовой церкви и затем три дня следующего месяца провел в Сергиевой пустыне. 2 ноября посетила пустынь Великая Княгиня Мария Николаевна — «чтобы проститься с епископом Игнатием», как она изволила выразиться. 3 ноября, в воскресный день, епископ Игнатий отслужил в пустыне Божественную литургию, участвовал в общей братской трапезе и, простившись со всеми, окончательно оставил Сергиеву пустынь. Он переехал в Невскую Лавру.

4 ноября, по назначению вдовствующей Императрицы Александры Феодоровны, епископ Игнатий ездил в Царское Село для представления Ее Величеству. Государыня изволила принимать его в своем кабинете, причем пожаловала ему панагию, украшенную бриллиантами и рубинами, сказав: «С соизволения Государя даю вам эту панагию в память обо мне и о покойном Государе». 9-го ноября епископ откланивался у Великого Князя Константина Николаевича и Великой Княгини Александры Иосифовны, причем имел продолжительную духовную беседу с Великой Княгиней, а 10-го, в Царском Селе, имел счастье откланиваться сначала у Государя, потом у Государыни особо, на их половинах, при этом Императрице угодно было говорить с ним очень серьезно о монашестве вообще и о Сергиевой пустыне в особенности. 17-го Преосвященный участвовал в хиротонии Соловецкого архимандрита Александра во епископа Архангельского и Холмогорского. В этом же Богослужении наместник Сергиевой пустыни иеромонах Игнатий возведен в сан архимандрита и по рекомендации епископа Игнатия и единодушному желанию братства назначен настоятелем пустыни.

Прожив в Сергиевой пустыне без двух месяцев двадцать четыре года, епископ Игнатий оставил ее в весьма цветущем состоянии. В его управление обитель украсилась тремя новыми великолепными храмами.

Из воспитанников по монашеству архимандрита Игнатия Брянчанинова Сергиева пустынь дала шестнадцать настоятелей: десять архимандритов, пять игуменов и одного строителя.