В рапорте от 20 октября того же года Илиодор написал, что портреты в соборе помещены при его предшественниках, а он «по недавнему поступлению в епархию, опасаясь подать народу, привыкшему издавна видеть изображения каждого благополучно царствующего монарха на боковой стене, повод к разным толкам... удержался от снятия портретов». Синод ходатайствовал перед императором Николаем I о снятии с Илиодора строжайшего выговора, и вскоре царь отменил взыскания с «только что вступившего на паству епископа» архиерея. При Илиодоре указом Синода от 8 июля 1833 г. был осуществлён перевод архиерейского дома и духовной консистории из уездного Белгорода в губернский Курск, в помещения курского в честь иконы Божьей Матери «Знамение» мужского монастыря. Одновременно братия последнего переводилась в Белгород, в бывший архиерейский дом, при котором Илиодор учредил второклассный Свято-Троицкий мужской монастырь. Сергиево-Казанский собор (1752–1778 гг.) в Курске стал кафедральным. В 1851 г. в Курске в перестроенном здании архиерейского дома была освящена церковь во имя Трёх святителей. Проявляя заботу об остававшейся в Белгороде Курской духовной семинарии, Илиодор настоял на увеличении её штатного содержания и числа казённокоштных воспитанников. Считал необходимым перевести семинарию в Курск, но осуществить это намерение по различным причинам не смог (переведена только в 1880 гг.). Ближайшим помощником Илиодора был (1837–1843 гг.) ректор семинарии архимандрит Варлаам (Успенский; впоследствии архиепископ Тобольский). Илиодор особо покровительствовал обучавшемуся в семинарии Михаилу Петровичу Булгакову (будущий Московский  митрополит Макарий): оказывал ему материальную поддержку, приглашал погостить в свой дом на время каникул, а в 1837 г., после окончания учения, направил его в Киевскую духовную академию. В 1836 г. Илиодор поддержал инициативу курского губернатора Михаила Николаевича Муравьёва по сбору сведений о церковных древностях епархии. В результате были обнаружены царские грамоты, записи по истории курских монастырей и святынь, найдены реликвии XVII–XVIII вв. (кресты, панагии и проч.). По поручению Илиодора преподавателем Курской духовной семинарии протоиереем М.В. Архангельским в 1853–1856 гг. было составлено «Церковно-историческое и статистическое описание Курской епархии» (не опубликовано, рукопись утрачена), собирались и публиковались материалы по истории Глинской и Софрониевой пустыней.