В 1940 году владыку Иосифа (Чернова) комиссовали из лагеря и направили по месту жительства в Таганрог. В городе стояло несколько храмов, но закрыты были все, как и Никольский собор, в котором владыка служил, еще будучи Таганрогским архиереем. Где теперь служить архиерею — непонятно.

По возвращении в Таганрог владыка попытался устроиться на работу в госучреждение. Однако «любимые власти» велели ему в течение суток из города выехать. Недалеко от Таганрога находится городок Азов, где расположен был крупный рыбный завод и несколько промышленных предприятий. Среди рабочих там были и духовные чада владыки.

Одна из духовных дочерей владыки занимала место директора детских яслей. Владыка, когда пришел, так и сказал ей:

— Помоги. Мне надо существовать.

Она взяла владыку на ставку сторожа-истопника. Еще же его обязанностью было следить за детьми — вовремя сажать их на горшок и потом горшки ополаскивать. Впоследствии владыка с теплом и нежностью вспоминал этот недолгий период своей жизни. Особенно запомнились ему детские разноцветные горшочки, сложенные в определенном месте стопочкой. Дети в яслях находились и ночью, так как многие из родителей работали в ночную смену. Ночью дети, бывало, просыпались, и владыка относил их, сонных, на горшочек. Дети владыку очень полюбили.

Владыка Иосиф искал людей, которые помогли бы возобновить служение литургии. В Азове с 1930 года существовала община святого праведного Иоанна Кронштадтского. Место, в котором она находилась, называлось «белый дом», так как стены этого невысокого здания были выбелены известью. Дом занимали несколько семейных пар, работавших на рыбзаводе. На самом же деле это был тайный монастырь. Служащие и рабочие завода по воскресеньям и праздникам собирались на литургию и причащались Святых Таин. Семейные по документам люди на самом деле жили по-монашески. Дом был разделен на две части: в одной жили мужчины, а в другой — женщины. В специальном помещении было устроено нечто вроде домовой церкви. Священник, отец Феодор Легалов, совершал там богослужения. В этой небольшой «церкви» было все необходимое для служения литургии — антиминс, богослужебные книги, свечи, ризница.

Одна из монахинь, матушка Питирима, однажды узнала на базаре владыку Иосифа — он покупал молоко. Узнала она его по рубашке, потому что сама сшила эту рубашку когда-то и послала вместе с другими вещами и пищей в лагерь. В лицо владыку мать Питирима не знала, но свою работу отличила от прочих. Та посланная в лагерь рубашка предназначалась владыке Иосифу и могла быть только на нем. Если только не случилось чего с владыкой… Матушка запомнила лицо невысокого человека в рубашке.

Через некоторое время община взяла владыку к себе в «белый дом». В ней уже было около сорока человек. Случалось, что владыка служил ночью. Жезлоносцем у него был маленький мальчик, который ночной службы не выдерживал и засыпал в ногах у владыки во время богослужения. Жил владыка Иосиф в помещении домовой церкви, от посторонних его прятали.

В июне 1941 года началась Великая Отечественная война. В самом ее начале значительная часть страны находилась в зоне оккупации немецких войск. Адольф Гитлер живо интересовался религиозной жизнью оккупированных земель и даже вместе с некоторыми специалистами СД разработал план, в основу которого входил простой и старый, но очень действенный римский принцип: «разделяй и властвуй». В СД имелся специальный отдел по работе с религиозными организациями. Политика Гитлера заключалась в том, чтобы, с одной стороны, создать немецкой армии образ освободительницы от мрака большевизма, а с другой — не допустить объединения верующих для борьбы с нацизмом. А для этого нужно поддерживать религиозную рознь — расколы и секты. Непременным условием для существования религиозной организации было признание нацистской Германии. В большом количестве распространялись листовки, в которых говорилось, что Германия несет верующим религиозную свободу.

При наступлении немцев на Азов местные власти предписали владыке выселиться из города как неблагонадежному. Пришлось ему прятаться у верных людей. Порой он целый день проводил в подвале. Для большего удобства в подполе сделана была специальная дверца — доска. Если кто стучался в калитку, владыка нырял в подпол, а хозяева «песочком» присыпали тайную доску. Порой владыка шутил так: «Матушка Гавриила, что ты меня заживо погребаешь?» После патрульных впускали, те обходили дом, но на доску внимания не обращали.

После занятия немцами Азова и Таганрога владыка вернулся в Таганрог. В этот период владыка написал акафисты преподобной Пелагии, Иосифу Прекрасному, великомученику Иакову Персиянину и святителю Павлу Исповеднику. Своего архиерейского служения Владыка не прекращал. В то время в Таганроге с помощью спрятавших его людей владыка стал восстанавливать Никольский собор. Дело уже почти было завершено, однако советские войска начали теснить немцев. Во время битвы за город советские самолеты сбросили на собор фугасы, и он сгорел.

Из Таганрога владыка перебрался в Умань, на Украину. С ним была частица мощей в иконе преподобной Пелагии, которую владыка очень почитал. Господь устроил так, что именно в день памяти преподобной Пелагии он встретился со священником, отцом Симеоном Таборанским, который вместе с двумя дочерьми принял владыку как родного.

В Умань владыка Иосиф приехал не один, а с двумя иподиаконами. Обоих звали Иванами. Одного он называл Вакун беленький, так как тот был белокур, а другого, брюнета, Вакун черненький. Поначалу владыка служил в кладбищенской церкви и ютился вместе с иподиаконами в кладбищенской холодной сторожке. Всего в городе было открыто при немцах семь храмов. Владыка служил по очереди во всех. Однако вскоре немцы дали понять, что будут насаждать унию и православным придется признать власть Папы и многое другое, что для Православной Церкви неприемлемо. Отец Симеон и владыка долго беседовали на эту тему и решили: лучше служить дома, но Христу не изменять. Местное духовенство недоверчиво отнеслось к владыке, но прихожане его очень полюбили — он никогда не унывал. Наиболее часто владыка служил в кладбищенской церкви. У него не было всего необходимого для архиерейского богослужения. Например, был только один орлец. Дочка отца Симеона, Валентина, вышила на черном простеганном сатине орла. Так появился второй орлец, и недостаток был восполнен.

Осенью владыка перебрался в сам город, уже занятый немцами. Его арестовали одним из первых, по обвинению в шпионаже, и заключили в тюрьму. Начались допросы и следствие. Следователь винницкой СД угрожал владыке пытками. Заключение, однако, продолжалось недолго. В начале 1943 года немцы стали отступать из Умани. Владыка получил спрятанное в продукты письмо от одного из своих иподиаконов, что тот с друзьями делает все для его освобождения. Владыка, переговорив с человеком, который послание принес, дал ему денег — пять золотых рублей. Иван, готовивший освобождение, подарил «почтальону» золотые часы.

Приближался праздник Рождества Христова. Немцы в ходе эвакуации решили избавиться от заключенных. Известна стала дата расстрела и то, что расстреляют сразу 120 человек. Владыка был в расстрельном списке. Накануне в камеру, где содержался владыка, стали вносить койки и заставили ими владыку, оставив лишь небольшой проход. Рабочими, носившими койки, руководил тот самый человек, Кучеров, которому владыка дал денег. Он велел владыке сидеть тихо. Койки принесли, составили, дверь заперли. Из выбитого окна камеры сквозило, ныли отмороженные когда-то в лагере ноги. Сколько ему предстоит так провести — неизвестно. Даже воды не было. Дверь камеры заперта была снаружи — выйти в коридор невозможно. Жажда мучила страшнее всего. Было слышно, как в коридоре капает вода. Этот звук казался невыносимым. И тогда владыка Иосиф взмолился — просто, по-детски: «Питоньки, питоньки пошли, Боже!» Господь его не оставил. Вдруг как будто невидимая рука открыла замок, дверь подалась, показалась щель в коридор. Владыка смог выйти и подойти к крану, напиться, сколько желал. Затем вернулся в камеру. Замок снова был заперт.

7 января в Умани расстреляно было 120 человек. В списках значилось имя владыки Иосифа, а он в это время сидел в камере, заставленной койками. Вот как сам владыка вспоминал эти дни: «Возили все время в Красный Яр, и там „черный ворон“ сваливал людей по принципу самосвала. Затем их обсыпали каким-то химическим порошком, в это время строчили и после неглубоко закапывали. Так приезжали три раза до трех часов ночи. Раскрывали большую книгу и по ней выкрикивали: „И-и-иванов“. — „Есть“. — „С веща-а-ами!“ В три часа все смолкло. Приходит ко мне смотритель и говорит: „Вы уже расстреляны“. Говорит по-немецки: „Вы в большой книге уже помечены как расстрелянный“. Он меня обнял и поцеловал. „Послезавтра мы уходим, а завтра вы посидите спокойно здесь“. Вот так я сидел и переживал там первую ночь. На второй день Рождества он ко мне раненько приходит и приносит Святые Дары от протоиерея Симеона Таборанского». Владыка смог причаститься в Светлый Праздник Рождества Христова. Та камера стала его яслями, в которых он словно заново родился.

Когда владыка Иосиф был арестован представителями советской власти и снова оказался у чекистов, он сказал на одном из допросов:

— Так вы думаете, я расстрела боялся? Я был подготовлен. Я одного боялся, что они, паскуды, плохо расстреливают заключенных. А вы — герои. Вы умеете хорошо расстреливать.

— Как, Иван Михайлович? — изумился следователь.