7 июня 1556 г. Игнатий Лойола назначил Петра Канизия провинциалом (praepositus provincialis) Ордена иезуитов, отнеся к области его ответственности королевство Богемию (территория современной Чехии), эрцгерцгстство Австрию (территория современной Австрии), герцогстство Баварию (ныне земля Бавария в составе Германии) и «всю верхнюю Германию» (universa superioris Germania), т.е. южно-германские земли. В 1563 г. Австрия была выделена в отдельную провинцию; южно-германской провинцией Пётр Канизий управлял до весны 1569 г., когда его преемником стал Пауль Гофеус (ум. в 1608 г.). К 1556 г. в подчинённой Петру Канизию орденской провинции насчитывалось около сотни иезуитов, как живших по монашескому уставу в нескольких общинных домах, так и проповедовавших и преподававших в коллегиях и университетах. В обязанности провинциала Ордена в числе прочего входили планирование проповеднической деятельности, надзор за порядком в общинах и коллегиях, обеспечение дальнейшего распространения Ордена. Пётр Канизий находился в постоянных разъездах по делам Ордена, посетил десятки городов, встречался и переписывался со многиими церковными иерархами и светскими правителями. При каждой возможности произносил проповеди, стремясь убедить слушателей хранить верность католической вере и предостерегая от лжеучений, ересей и суеверий. Масштаб и интенсивность церковной деятельности Петра Канизия восхищали его современников; католические авторы последующих веков сравнивали его с просветителем Германии св. Бонифацием (ум. в 754 г.), архиепископом Майнцским, и называли Петра Канизия вторым «апостолом Германии». Наиболее важной своей обязанностью в качестве провинциала Пётр Канизий считал заботу о религиозном образовании, поддержании действующих иезуитских коллегий и открытии новых. Ещё до назначения провинциалом, в октябре 1554 г. Пётр Канизий подготовил проект организации коллегии в Праге; занятия в ней начались 8 июля 1556 г. В ноябре 1555 г. Пётр Канизий приехал в Ингольштадт для переговоров с городским советом об открытии коллегии; к концу года ему удалось согласовать и подписать соответствующий договор с городом, однако его выполнение затянулось. При Петре Канизии были открыты иезуитские коллегии в Мюнхене (1559 г.), Инсбруке (1562 г.), Диллингене-ан-дер-Донау (1563 г.), Вюрцбурге (1567 г.), Халль-ин-Тироль (1569 г.). Как открытие новых коллегий, так и поддержание существующих было сопряжено со значительными сложностями. Петру Канизию приходилось вести долгие переговоры со светскими властями, просить о выделении финансовых средств и помещений, преодолевать сопротивление многих влиятельных лиц, настороженно или неприязненно относившихся к иезуитам. Несколько коллегий, открытие которых Пётр Канизий готовил, будучи провинциалом, были организованы уже после того, как он покинул Германию, например, коллегии в Аугсбурге (1582 г.) и Регенсбурге (1589 г.). Главной проблемой Пётр Канизий считал недостаток иезуитов, способных вести преподавание на высоком уровне. В письмах в Рим он просил руководство Ордена отправить в Германию преподавателей, хорошо знающих богословие, твёрдых в католической вере, способных привлекать людей своим благочестием. Пётр Канизий неоднократно был вынужден применять различные административные меры к руководителям и преподавателям коллегий, не исполнявшим свои обязанности должным образом или уклонявшимся в чём-либо от католического вероучения.