В 1433 или 1434 г. Герман отправился на реку Онегу за припасами и был вынужден там перезимовать. На следующее лето он не смог вернуться на остров из-за болезни. Тем временем Савватий, почувствовав приближение кончины, покинул скит и уехал на материк к устью реки Выг, чтобы причаститься, и вскоре там скончался (некоторые редакции «Жития преподобных Зосимы и Савватия» дают основание относить отъезд Германа и Савватия с острова к одному году). Через год Герман вернулся на остров вместе с молодым отшельником Зосимой, также стремившимся к пустынножительству. Они поселились в 2,5 верстах к северу от того места, где впоследствии был основан монастырь (следы от их келий сохранились). После бывшего Зосиме видения, которое Герман истолковал как Божье изволение об устройстве обители, подвижники заложили её между Святым озером и морской гаванью. Как и при Савватии, святые занимались земледелием, но урожая не хватало для пропитания. Через некоторое время Герман ушёл на материк «кь христолюбивым людям потреб ради, еже на съзидание обители». Он вернулся только весной 1436 или 1437 г. с рыбаком Марком, принявшим вскоре постриг в обители с именем Макарий. Когда собралось несколько иноков, они возвели небольшую церковь в честь Преображения Господня и «трапезку малу» (церковь вскоре освятил игумен Павел, присланный Новгородским архиепископом Ионой). После основания монастыря Герман прожил на Соловецком о-ве более сорока лет. Во второй половине 1460 гг. он сопровождал Зосиму в Великий Новгород, куда тот направился для решения монастырских дел, связанных с боярским землевладением на Соловках. 17 апреля 1478 г. Зосима скончался и был погребён Германом и учениками за алтарём монастырской Преображенской церкви. Не умея сам писать, Герман диктовал для назидания людей некоему клирику о своих сподвижниках по пустынножительству – Савватии и Зосиме. Этими записями воспользовался монах Досифей (впоследствии игумен монастыря) для составления «Жития» преподобного. В «Слове о сътворении жития началник соловецких Зосимы и Савватия» (начало XVI в.) он пишет, что после кончины Зосимы он «пребых у его спутника у старца Германа в келии». Герман рассказал ему «вся, яже о преподобнемь (Зосиме) бывшее житие и отчасти чюдес». Досифей первым записал известия о жизни и чудотворениях преподобных Савватия и Зосимы, поскольку Герман был «некнижен». Сведения о кончине и погребении Германа в источниках различаются. Согласно «Житию», через некоторое время после смерти Зосимы он был направлен игуменом Арсением (1478–1479 гг.) по монастырским делам в Великий Новгород и скончался в мужском монастыре в честь Рождества Пресвятой Богородицы Антония Римлянина (дата смерти в «Житии» не указана). «Написание о Соловецкой обители», которое в отличие от житийной традиции приводит точные, но не вполне достоверные даты, Герман преставился в Новгороде 22 марта 1484 г. (в «Соловецком летописце» по спискам XVIII в. датой кончины Германа указан 1484 г.). По мнению исследователей, если последняя дата верна, то, возможно, поездка Германа была связана с тем, что новоизбранный в Москве Новгородский архиепископ Сергий (1483–1484 гг.) резко увеличил подати с новгородского духовенства (Псковские летописи. М., 1955. Вып. 2). Предполагается, что Герман ездил хлопотать об уменьшении налогов с монастыря. Согласно «Житию», Герман был первоначально похоронен в дер. Хавроньиной, на реке Свири, т.к. из-за весенней распутицы ученики, которые везли останки святого в Соловецкий монастырь, не смогли их туда доставить. При игумене Исаии (1483–1485 гг.) состоялось перенесение мощей Германа из дер. Хавроньиной в Соловецкий монастырь, тело святого было обретено нетленным.