Г.А. Каледа был принципиальным противником смертной казни, отстаивая христианскую веру в возможность преображения личности: «Судьи приговаривают к расстрелу одного человека, а палачи расстреливают другого, правда, с той же фамилией». Это признание было выражением его опыта духовного окормления приговорённых к смертной казни. В мемуарах Г.А. Каледы «Записки рядового» есть разделы о его предках, о детстве и отрочестве, о Великой Отечественной войне. Глава об отрочестве представляет собой воспоминания о жизни христианской семьи в 1930 гг. Вершиной же его церковно-исторических размышлений исследователи считают работу «Очерки жизни православного народа в годы гонений: (Воспоминания и размышления)» (опубликовано в 1995 г.), в которой он даёт историко-богословское осмысление пути, пройденного РПЦ в ХХ в., иллюстрируя его личными воспоминаниями. Для него прошедшее столетие – «славная, героическая эпоха в истории русского Православия», поскольку Русская церковь вышла из гонений победительницей: она «выдержала жесточайшие гонения, сохранила чистоту веры, укрепилась сонмом мучеников». При этом Г.А. Каледа указывает, что гонения на церковь советского периода не были отдельным, случайным эпизодом в жизни страны. Основания для антицерковного натиска закладывались, по его мнению, ещё в императорской России, где государственный утилитаризм ставился выше подлинных интересов церкви, где помимо «духоносной Руси», по выражению Г.А. Каледы, «существовали Русь обрядовая... и Русь богоборческая, Русь сатанинская»; множеством людей, примыкавших к сильному большинству, владела «религиозная теплохладность», – главный недуг дореволюционной России. На этом фоне, по мнению Г.А. Каледы, «стали возможными гонения на Церковь в стране с подавляющим большинством православного народа». Г.А. Каледа считал оправданным курс митрополита Сергия (Старгородского; впоследствии патриарх Московский и всея Руси) на сохранение легально действующих церквей ради «малых сих», которых «в катакомбы не уведёшь» и которых нельзя оставить без евхаристии. Но Г.А. Каледа не осуждал иерархов и священников, составивших оппозицию этому курсу, т.к. «очень сложная и мучительная была эпоха, но самое важное, что и те, и другие соблюдали каноны и чистоту православного вероучения в отличие от обновленцев». Он писал о потаённой церковной жизни как о естественной и органичной составляющей жизни всей церкви в то время, о «катакомбных» церквах и монастырях, имея в виду нелегальные (незарегистрированные по советскому законодательству) приходы и монастыри, как поминавшие митрополита Сергия, так и оппозиционные ему, о «напряжённой умственной и духовной работе», которая шла в недрах Русской церкви на протяжении всего советского периода. Г.А. Каледа призвал помнить и осмыслять исторический опыт Русской православной церкви ХХ в. и хранить ей верность; писал, что «будущее зависит от того, окажемся ли мы достойными крови новомучеников российских, или их опыт духовный, их опыт жизни и их страдания пройдут для нас втуне. Последнее означает, что мы отрекаемся от своего духовного наследства. Да не будет этого! Наследство – это и большое богатство, и огромная ответственность».