2 января 1843 г. по рекомендации митрополита Киевского Филарета Иеремия возглавил новооткрытую Кавказскую и Черноморскую епархию. Выехав из Киева 19 марта, Иеремия посетил Мгарский в честь Преображения Господня мужской монастырь, где поклонился мощам особо чтимого им Константинопольского святителя Афанасия III Пателлария. После прибытия 10 апреля в Ставрополь первые два года проживал в доме купца Игната Волобуева, где устроил домовую церковь в честь Воздвижения Креста Господня. Впоследствии купец передал под архиерейское подворье свою усадьбу на Кузнечной улице (ныне улица Г. Голенева). Основное внимание Иеремия уделял христианскому просвещению, что было невозможно без подготовленного к миссионерской деятельности духовенства. В 1844 г. выступил с инициативой преобразования Екатеринодарского духовного училища в уездное училище, которое состоялось лишь в 1858 г., при епископе Кавказском Игнатии (Брянчанинове). Уже в конце 1843 г. Иеремия направил в Синод предложения об учреждении на Кавказе духовной семинарии. 13 ноября 1846 г. она открылась в Ставрополе, причём Иеремия тайно пожертвовал на выплату стипендий семинаристам около 10 тыс. руб. серебром. По его указанию торжественное открытие семинарии было приурочено ко дню памяти Иоанна Златоуста. В сентябре 1846 г. Московский митрополит Филарет (Дроздов) направил Иеремии письмо, в котором горячо поддержал его просветительские начинания. В 1847 г. в память о своих родителях, Иоанне и Марии, в трёх верстах от Ставрополя устроил Иоанно-Мариинскую женскую общину. Проявляя заботу о нуждающихся клириках, Иеремия при поддержке купца Гониловского построил обширный двухэтажный каменный дом для общежития беднейших детей кавказского духовенства. По инициативе Иеремии был возведён новый кафедральный собор в честь Казанской иконы Божьей Матери (1845 г.) в Ставрополе, отремонтирован старый Троицкий собор, построено 12 храмов. В 1845 г. начальник Кавказской области генерал-лейтенант Василий Иосифович Гурко в письме обер-прокурору Синода называл Иеремию «пастырем, достойным всякой похвалы. При строгом образе жизни он соединяет в себе истинную кротость, любовь к ближнему, глубокую набожность и пламенное усердие к вере. В его управлении почти не слышно жалоб, которые доходили прежде до областного начальства на лиц духовного ведомства».