Предки Франциска Ксаверия происходили из Северной Наварры (ныне департамент Атлантические Пиренеи, Франция). Дед, Арнальт Перис де Хассу (Хасо), поступил на королевскую службу в Памплоне. При покровительстве принца Карла Вианского он породнился со знатным родом Атондо, но впоследствии выступил против принца на стороне его отца Хуана II, короля Наварры (с 1425 г.) и Арагона (1458–1479 гг.), и принцессы Леоноры (вице-королева Наварры в 1465–1469 гг.). Благодаря этому Арнальт Перис стал казначеем (maestre de finanças) и членом королевского совета. Его старший сын Хуан де Хассу (ум. в 1515 г.), доктор права Болонского университета (1470 г.), унаследовал должность отца. В результате брака с Марией (ум. в 1529 г.), наследницей знатного рода Аспилькуэта, он получил замок Хавьер (впервые упоминается под 1217 г.) и усадьбу Аспилькуэта в Северо-Западной Наварре (наличие земельных владений дало ему право именоваться сеньором Хавьера, Аспилькуэты и Идосина). Как глава королевского совета (с 1495 г.), Хуан де Хассу установил родственные, дружеские и деловые связи с аристократическими семействами Наварры, участвовал в управлении королевством при малолетних королях Франциске Фебе и королеве Екатерине де Фуа, которая впоследствии вышла замуж за французского магната Жана д'Альбре (король Наварры с 1484 г.). У Хуана де Хассу было не меньше пяти детей: дочери Магдалена и Анна, сыновья Мигель (около 1495 – 1542 гг.), Хуан (около 1497 – 1556 гг.) и младший Франсиско (Франсес) Франциск Ксаверий. До 19 лет Франциск Ксаверий жил в родовом замке Хавьер, который находился на границе Наварры и Арагона, поблизости от цистерцианского аббатства Лейре, усыпальницы наваррских королей. Несмотря на то что Хавьер находился в испаноязычной местности, предки Франциска Ксаверия по отцовской и материнской линии были басками (своим родным языком он называл баскский). Положение семьи Франциска Ксаверия изменилось в результате конфликта короля Жана д'Альбре с Фердинандом V (II), королём Арагона. После оккупации Наварры испанцами (1512 г.) король вместе с представителями знати (среди них был и Хуан де Хассу) укрылся в Беарне, рассчитывая на помощь французского короля Франциска I. В 1515 г. Наварра была включена в состав соединённого королевства Кастилии, Леона и Гранады. Сын Хуана де Хассу Мигель де Хавьер, унаследовавший владения и титулы отца, принял участие в борьбе наваррской знати за независимость: когда войско короля Жана д'Альбре вторглось в Наварру, он изгнал испанский гарнизон из города Сангуэса. После победы над французскими и наваррскими отрядами регент Испании кардинал Франсиско Хименес де Сиснерос велел схватить мятежных дворян и разрушить их укрепления (стены замка Хавьер были снесены весной 1516 г.). В мае 1521 г. Мигель де Хавьер присоединился к французскому войску, вторгшемуся в Наварру; во время осады Памплоны, в которой принимали участие пять двоюродных братьев Франциска Ксаверия, отличился испанский офицер Иньиго (Игнатий) де Лойола, получивший в ходе военных действий тяжёлую травму.