По собственному прошению Мартирий был отправлен за штат, переведён с Дальней мельницы в обитель. Причиной перевода были болезни подвижника, в том числе грыжа и ревматизм. Мартирий поселился в маленькой келье на верхнем этаже юго-восточной двухэтажной башни монастырской ограды. В келье не было мебели, в углу лежал небольшой тулуп из овчины, на котором старец отдыхал сидя; были только кувшин для воды, глиняный горшочек, икона и книги. Вместе с другими насельниками Мартирий посещал общую трапезу, но в келье не пил даже чай, считая, что эта «погрешность» отнимает время от молитвы. Самовар, подаренный родным братом, преподобный отдал послушнику, впоследствии монаху, преподобному Петру (Лешенко), который проживал на нижнем этаже башни. По обычаю в Глинской пустыни три раза в год (к праздникам Воскресения Христова, Рождества Христова и Рождества Пресвятой Богородицы) насельникам раздавали по порции чая и сахара. Свою порцию Мартирий отдавал преподобному Петру (Лешенко). В первую и последнюю недели Великого поста подвижник вообще ничего не ел и посещал все богослужения. В эти дни он становился подобен «скелету, обтянутому кожей, с глубоко запавшими глазами, которые ярко блестели, горя внутренней ревностью». Однажды, придя на исповедь в крайнем измождении, получил от братского духовника иеромонаха Анастасия (ум. в 1873 г.) строгое внушение: «Иди подкрепись пищей, а иначе я не буду тебя исповедовать». Старец, смиренно повинуясь наставнику, исполнил его повеление. Основным послушанием Мартирия в Глинской пустыни по благословению настоятеля стало неусыпаемое чтение Псалтири в монастырской псалтирне. В храме он обычно молился уединённо, стоял либо в углу, либо на хорах. По свидетельству монахов, когда Мартирий осенял себя крестным знамением, то сильно ударял по лбу несколько раз перстами, отчего на лбу оставалось красное пятно. На вопросы иноков старец отвечал: «Как Спасителя нашего за нас грешных пригвоздили ко кресту воины, ругаясь над ним, возложили на Его голову терновый венец, который своими острыми шипами вонзился в его Божественную голову... Вот и нам, грешным, нужно, при ограждении себя святым крестом Господа Иисуса, помнить его болезни, претерпенные за нас». При выполнении келейного молитвенного правила Мартирий настолько истово полагал земные поклоны, что даже зимой не топил в келье печь, т.к. «от поклонов было жарко».