Ситуация ещё больше осложнилась для Георгия Святославича после смерти 5 июля 1402 г. его тестя и покровителя князя Олега Иоанновича, новый правитель Рязанского княжества князь Феодор Олегович, женатый на сестре Василия I Софии, по отношению к Витовту придерживался дружественного нейтралитета. В 1403 г. по приказу Витовта князь Лугвень вновь атаковал Смоленск, захватил Вязьму, в литовский плен попали брат Георгия Святославича Иоанн и Вяземский князь Александр Михайлович. В начале весны следующего года Витовт при поддержке князей Корибута, Лугвеня и Свидригайло предпринял новый крупномасштабный поход на Смоленск и осаждал его в продолжение семи недель, используя новое оружие – пушки. Несмотря на то, что город ему взять не удалось, литовские войска разорили окрестности Смоленска. В этой трудной ситуации Смоленский князь сообщил Василию I о своём желании перейти к нему на службу («даючися ему сам и со всем своим княжением»). Георгий Святославич уехал в Москву, взяв с собой чудотворную Смоленскую икону Божьей Матери «Одигитрия», которую Василий I поместил в Благовещенском соборе Московского Кремля (в 1456 г. по просьбе Смоленского епископа Мисаила икона была возвращена в Смоленск). В отсутствие князя Витовт вновь осадил Смоленск, который сдался 26 июня 1404 г. Витовт взял в плен и отправил в Литву супругу Георгия Святославича, арестовал смоленских князей, казнил или изгнал из города бояр (сторонников Георгия Святославича) и вновь посадил в Смоленске своих наместников. Более того, в Москву отправился посол Витовта «по князя Юрья... на взыскание его». Не желая ссоры с литовским правителем, Василий I отверг предложение Георгия Святославича о службе. Вместе с сыном Федором и служившими ему вяземскими князьями – братьями Симеоном и Владимиром Мстиславичами бывший Смоленский князь бежал в Великий Новгород. Опасавшиеся агрессивных планов Витовта новгородцы дали Георгию Святославичу, полководческий талант которого был хорошо известен, «в кормление» большое число городов – Русу, Ладогу, Орехов (Орешек), Торжок, Волок Ламский, Порхов, Вышгород, Высокое, Кошкин, Корелу, Терский берег. В 1406 г. в связи с началом военного конфликта между Василием I и Витовтом Георгий Святославич уехал из Новгорода в Москву и был принят на службу к великому князю (по новгородским источникам, это произошло осенью 1406 г., по московским – зимой 1406/1407 гг.). Василий I пожаловал Георгию Святославичу и князю Симеону Вяземскому «в кормление» Торжок. Здесь между князьями произошёл конфликт, рассказ о котором содержится в Софийской Первой летописи старшего извода (первая четверть XV в.), а также в московских летописных сводах второй половины XV – начала XVI вв. и основанной на них «Книге Степенной царского родословия»; летописи первой половины XV в. (Новгородская Первая младшего извода, московская Троицкая) о конфликте не сообщают. Георгий Святославич насильно привёл к себе на двор жену князя Симеона княгиню Иулианию Вяземскую, «хотя с нею жити». Сопротивлявшаяся княгиня ранила Георгия Святославича ножом. В ответ Георгий Святославич убил князя Симеона, а княгине Иулиании «повеле рукы и ногы отсещи и в реку въвергоша».