10 января 1960 г., после кончины Католикоса-Патриарха Мелхиседека и согласно его письменному завещанию, патриаршим преемником был назначен епископ Маргветский Давид (Девдариани); впоследствии Католикос-Патриарх Давид V (VI), который по смирению отказался от патриаршего престола. 11 января на специальном заседании Синода ГПЦ по предложению епископа Давида Ефрем был избран Местоблюстителем патриаршего престола. 20 февраля в Тбилисском Сиони прошло заседание X Собора ГПЦ, избравшего Ефрема Католикосом-Патриархом Грузии. В числе 59 делегатов присутствовали представители Русской православной церкви – архиепископ Львовский и Тернопольский Палладий (Каминский), архиепископ Черниговский и Нежинский Андрей (Сухенко), архимандрит Никодим (Ротов) – и Болгарской православной церкви: настоятель Болгарского подворья в Москве архимандрит Антоний. С речами выступили епископ Маргветский Давид, Д.В. Макаридзе, митрополит Ниноцминдский Димитрий; настоятель церкви во имя Михаила Тверского в Тбилиси (ныне Метехи) прочитал биографию кандидата. Ефрем, вопреки уговорам одного из старейших священников ГПЦ, протоиерея Платона Цкитишвили, и членов Собора принять избрание, настаивал на необходимости проведения тайного голосования. По результатам голосования он был избран единогласно. Его интронизация состоялась 21 февраля в Светицховели; Ефрему сослужили архиереи РПЦ, ГПЦ и БПЦ, присутствовал Католикос всех армян Вазген I (1955–1994 гг.) в сопровождении архиепископа Саака и епископа Комитаса. Во время патриаршества Ефрема II началось усиление антирелигиозной пропаганды в СССР. Многие епархии существовали формально, численность духовенства из-за отсутствия притока молодёжи уменьшалась. Согласно статистике, в Грузии насчитывалось 44 действующие православные церкви. Несмотря на активное сопротивление властей, Ефрему II удалось рукоположить во епископов трёх молодых архимандритов: Илию (Гудушаури-Шиолашвили; впоследствии Католикос-Патриарх) на Шемокмедскую кафедру (1963 г.), Романа (Петриашвили; 1965 г.) и Гайоза (Кератишвили; 1972 г.) на другие кафедры. В 1963 г. Ефрем II добился разрешения открыть в Мцхете 2-летние пастырские курсы во имя священномученика Гавриила (Кикодзе), которые возглавил епископ Шемокмедский Илия (в 1969 г. они были преобразованы в 3-летнюю Мцхетскую духовную семинарию и выпускали три-четыре человека в год). В том же году под руководством Ефрема II были изданы Новый Завет в переводе Евфимия Святогорца (тираж 5 тыс. экз.) и иллюстрированный образами святых полный и в усовершенствованном переводе Молитвослов; стал ежегодно выходить Церковный календарь ГПЦ; были учреждены высшие награды ГПЦ – ордена св. равноапостольной Нины и великомученика Георгия. Ефрем II поднял вопрос о возвращении церкви патриаршей резиденции; по его ходатайству Совмином ГССР было вынесено постановление обязать Тбилисский горсовет выделить земельный участок в Тбилиси для строительства дома Грузинской патриархии. При нём ещё больше упрочились отношения ГПЦ и РПЦ. В октябре 1960 г. и в сентябре 1963 г. Тбилиси с дружественным визитом посещал Патриарх Московский и всея Руси Алексий I. Ефрем II участвовал в торжествах, проводимых в Троице-Сергиевой лавре и посвящённых 85-летию патриарха Алексия I (ноябрь 1962 г.) и 50-летию его архиерейского служения (май 1963 г.), а также посвящённых празднованию 50-летнего юбилея восстановления патриаршества РПЦ (май 1967 г.).