После первого покушения на императора, совершённого в 1866 г., Константин Николаевич вместе с группой единомышленников (князем Александром Михайловичем Горчаковым, графом Дмитрием Алексеевичем Милютиным и др.) пытался противостоять политике шефа жандармов и главного начальника Третьего отделения графа Петра Андреевича Шувалова, направленной на сворачивание начатых реформ. В конце 1866 г. представил императору проект создания законосовещательного собрания при Государственном совете из представителей земств и органов городского самоуправления (был отклонён). В начале 1881 г. Константин Николаевич поддержал проект графа Михаила Тариэловича Лорис-Меликова по введению представителей земств и городов в состав правительственных комиссий по подготовке законопроектов. Реформаторская деятельность Константина Николаевича снискала ему популярность в либеральной среде (по словам академика Александра Васильевича Никитенко, Константин Николаевич пользовался «репутацией защитника и главой партии всех мыслящих людей») и ненависть в консервативных кругах (наибольшее недовольство вызывала роль Константина Николаевича в крестьянской реформе 1861 г.). Общественное мнение практически единодушно осуждало его деятельность в Царстве Польском. У Константина Николаевича сложились напряжённые отношения с наследником престола великим князем Александром Александровичем (после вступления его на престол Константин Николаевич был отстранён от всех должностей). Адмирал (1855 г.), почётный член Санкт-Петербургской Академии Наук (1844 г.), учредитель и первый председатель Русского географического общества (с 1845 г.), председатель Императорского Археологического (с 1852 г.) и Императорского Русского музыкального (с 1873 г.) обществ. Последние годы жизни провёл в принадлежавшем ему имении в городе Павловске и в имении Ореанда в Ялтинском уезде в Крыму. Вскоре после отставки Константина Николаевича сгорел его дворец в Ореанде. На месте дворца Константин Николаевич решил построить храм в честь Покрова Пресвятой Богородицы (1884–1885 гг.). Строительство осуществлялось по проекту архитектора Алексея Александровича Авдеева. Часть церкви была украшена мозаичными образами известного итальянского мастера Антонио Сальвиати. Константин Николаевич был женат на великой княгине Александре Иосифовне (1830–1911 гг.), урождённой принцессе Александре Фредерике Генриетте Паулине Марианне Элизабете Саксен-Альтенбургской, принявшей православие 5 февраля 1848 г. Их дети: Николай, Ольга (1851–1926 гг.), супруга короля Греции Георга I, Вера, Константин Константинович, Дмитрий, Вячеслав. Супруга Константина Николаевича была попечительницей ряда монастырей, храмов и благотворительных организаций, в том числе в Кронштадте, сотрудничала с протоиереем Иоанном Сергиевым, который регулярно посещал великую княгиню. Именно великая княгиня Александра Иосифовна привезла протоиерея Иоанна в Ливадию (Крым) к умирающему императору Александру III. Константин Николаевич был похоронен в Петропавловском соборе Санкт-Петербурга, в 1909 г. перезахоронен в Великокняжеской усыпальнице Петропавловской крепости.