В 1075 г. в битве на реке Унструт император одержал верх и укрепил позиции в Саксонии, уничтожив крестьянское ополчение. Однако победа короля лишь на время обеспечила перевес сил в его пользу. Влияние на внутреннюю и внешнюю политику Генриха IV оказали его отношения с католической церковью, которые поначалу между королём и избранным в 1073 г. папой Григорием VII (1073–1085 гг.) носили вполне мирный характер. В 1074 г. папа даже намеревался отправиться во главе христианского войска в Святую землю, оставив Генриха IV управлять католической церковью от своего имени. Конфликт между папой и королём, предметом которого был спор об инвеституре, начался осенью 1075 г., после того как Генрих IV, являвшийся сеньором Милана, без согласования с папой назначил четырёх итальянских епископов и отказался изменить решение, несмотря на протест Григория VII. Папа потребовал от короля выказать должное послушание ему как главе католической церкви. Собор в Риме запретил осуществление церковной инвеституры светскими лицами, а папа потребовал от Генриха IV смещения епископов (1075 г.). Это угрожало политике, проводимой Генрихом IV, т.к. земли имперской церкви, основа могущества королевской власти внутри Германии, при выполнении требований папы фактически изымались из распоряжения короны, а назначение высших церковных иерархов, главных фигур во внутреннем управлении, уходило из-под юрисдикции короля. Некоторые представители духовенства в Германии и Италии, приобретшие церковные должности за деньги, опасались смещения со стороны папы и поэтому заняли сторону Генриха IV. На Соборе германских епископов в Вормсе под давлением Генриха IV было принято решение о низложении Григория VII (24 января 1076 г.). Папа в ответ отлучил короля от католической церкви (22 февраля 1076 г.), и это стало сигналом для возобновления выступлений герцогов против него внутри страны (договор в Трибуре, октябрь 1076 г.). По решению герцогов король должен был быть низложен, если в течение года и одного дня не добьётся от папы снятия отлучения. Генрих IV пошёл на публичное покаяние: простояв босым на снегу трое суток перед замком Каносса, где в то время находился папа (замок принадлежал маркграфине Матильде Тосканской), король вымолил прощение у Григория VII (январь-февраль 1077 г.) и обещал впредь сохранять послушание папе и содействовать ему в проведении реформы католической церкви. Несмотря на примирение короля с папой, германские герцоги выступили против Генриха IV. В Форххайме они избрали королём герцога Швабии Рудольфа Райнфельденского (15 марта 1077 г.). В ходе начавшейся в Германии войны между Генрихом IV и герцогами королю удалось свергнуть с германского престола Рудольфа (убит в Мёльзене 25 июня 1080 г.). Папа Григорий VII вновь отлучил Генриха IV от церкви (1080 г.). Учитывая рост недовольства церковной политикой Григория VII, король провозгласил папой Гвиберта из Равенны (антипапа Климент III) и совершил поход на Рим (1081 г.). В 1081–1084 гг. король совершил ещё три похода на Рим и помог своему ставленнику Клименту III утвердиться на папском престоле (24 марта 1084 г.), а тот короновал Генриха IV императорской короной.