Согласно «Асторгскому сказанию» середины – второй половины XIII в., Ильдефонс был сыном Стефана и Луции, знатных жителей Толета, племянником по матери епископа Евгения (как полагают исследователи, Евгения II). По мнению Эдварда Томпсона, отметившего, что среди романского населения Испании германские имена не получили распространения, родители Ильдефонса были готами. В позднейшей испанской хронике XV в., составление которой приписывалось Лиутпранду, рождение Ильдефонса датировано 607 г. (645 г. испанской эры). Согласно этой хронике, в возрасте десяти лет Ильдефонс был направлен Евгением в город Гиспалис (ныне Севилья) для обучения у Исидора, повлиявшего на его решение стать монахом. Ильдефонс возглавлял Толетскую кафедру в годы правления короля Рекесвинта (653–672 гг.), продолжавшего по примеру своего отца Хиндасвинта (642–653 гг.) политику укрепления королевской власти. Хиндасвинт, стремясь контролировать церковную жизнь, в 646 г. назначил на Толетскую кафедру архидиакона Евгения вопреки просьбам его наставника Браулиона, епископа Цезаравгусты (ныне Сарагоса), который желал видеть Евгения своим преемником. Толетская кафедра была первенствующим престолом королевства (с 610 г.); епископ столичного города, где созывались Соборы, фактически был старшим иерархом в Испании. Епископы Браулион и Евгений не одобряли попытки Хиндасвинта установить контроль над церковью. На VIII Толетском соборе (653 г.) Рекесвинт, нуждаясь в поддержке церковной иерархии и аристократии, осудил жёсткую политику отца. Благодаря соборному постановлению, согласно которому короля должны избирать епископы вместе с придворной знатью, усилились позиции Толетской кафедры. Укрепившись на королевском престоле, Рекесвинт, так же как и его отец, предпринял попытки ослабить влияние прелатов и знати, что получило отражение в решениях X Собора (656 г.). После этого король перестал созывать Соборы. Большинство исследователей полагают, что после 656 г. отношения Рекесвинта с церковными иерархами были напряжёнными. Как аббат крупного Агалийского монастыря Ильдефонс был влиятельным церковным деятелем и, как полагают исследователи, рассматривался как кандидат на Толетскую кафедру, которую в первой половине VII в. занимали бывшие агалийские аббаты Элладий и его ученики Иуст (633–636 гг.) и Евгений I (Евгений II; 636–646 гг.). По свидетельству Иулиана, Ильдефонс указом короля был насильно доставлен в Толет (описание подобного «насильственного» возведения на кафедру епископа Евгения II по повелению Хиндасвинта в сочинении Ильдефонса «О знаменитых мужах» имеет ряд общих черт с текстом Иулиана). Рекесвинт, рассматривая Ильдефонса как желательного преемника Евгения II, незадолго до смерти епископа велел перевести агалийского аббата в состав городского клира, а затем назначил его на кафедру.