После прибытия в лагерь назначен инкассатором, к концу первого месяца работы у него оказалась недостача. Хотя недостающая сумма была возмещена друзьями Афанасия, тем не менее, к его сроку наказания добавили ещё год и перевели на общие работы на лесопункт. После начала Великой Отечественной войны Афанасий был отправлен пешим этапом за 400 км в Онежские лагеря Архангельской области, 13 июля 1942 г. направлен в бессрочную ссылку в Омскую область, где в совхозе «Голышманово» четыре месяца работал ночным сторожем, затем около года жил в городе Ишиме. Афанасий совершал богослужения у себя дома, на службы приходили жители города, которые стали хлопотать об открытии церкви. В ноябре 1943 г. Афанасий был арестован по обвинению «в проведении профашистской агитации, распространении провокационных слухов и участии в антисоветской агитации», проходил по делу, которое называлось «Антисоветское церковное подполье», с Кинешемским епископом Василием (Преображенским), иеромонахом Иераксом (Бочаровым), протоиереем Петром Шипковым, Ксенией Ивановной Гришановой, Ниной Владимировной Трапани. Его признали виновным в совершении тайных богослужений, рукоположений, монашеских постригов и приговорили к восьми годам исправительно-трудовых лагерей. Афанасий отбывал срок сначала в Сибирских, затем в Темниковских лагерях, с июля 1947 г. – в Дубравлаге, с мая 1954 г. – в Зубово-Полянском доме инвалидов для заключённых. В заключении он узнал об избрании на поместном Соборе 1945 г. патриархом Алексия (Симанского). Сразу после получения этого известия Афанасий и близкие ему священнослужители стали возносить в молитвах имя патриарха Алексия, «как имя законного первоиерарха Русской Православной Церкви». 7 марта 1955 г. Афанасий был освобождён из инвалидного дома и поселился в городе Тутаеве у своего давнего знакомого исповедника Георгия Седова, который способствовал освобождению Афанасия, заявив себя его опекуном. К этому времени относятся два письма Афанасия к духовным чадам с призывом к воссоединению с Московской патриархией. Письма имели широкое распространение среди «непоминающих» и способствовали возвращению многих под омофор Московского патриарха. 24 октября 1955 г. Афанасий переселился в посёлке Старые Петушки Владимирской области. В 1956 г. возглавлял действовавшую при патриархе Календарно-богослужебную комиссию (существовала год), помимо Афанасия в работе комиссии участвовали протопресвитер Николай Фёдорович Колчицкий, профессор Николай Дмитриевич Успенский, доцент Алексей Иванович Георгиевский, священник Павел Соколовский, священник Сергей Васильевич Орлов, инспектор Ставропольской духовной семинарии профессор Дмитрий Петрович Огицкий, Анатолий Васильевич Ведерников.