После прихода в 1392 г. к власти в Великом княжестве Литовском Витовта король приказал всем русско-литовским князьям подчиниться новому правителю Литвы. Однако Владимир Ольгердович отказался принести Витовту клятву верности, мотивируя тем, что он уже дал её королю. В 1393–1394 гг. в борьбе против Витовта поддержал Новгород-Северского князя Димитрия-Корибута и Подольского князя Фёдора Кориатовича. Весной 1394 г. Витовт и Полоцкий князь Иоанн-Скиргайло захватили в северной части Киевской земли города Житомир и Овруч и вынудили Владимира Ольгердовича пойти на переговоры, в результате которых был заключён мир на два года. Осенью 1394 г. в результате второго похода литовских князей Владимир Ольгердович лишился Киевского княжества, которым завладел Иоанн-Скиргайло. Местная знать оказала сопротивление новому правителю, которому пришлось с боем осаждать находившиеся к югу от Киева города Звенигород и Черкассы. Как полагают исследователи, в середине 1390 гг. Владимир Ольгердович стремился вернуть себе Киев с помощью Московского великого князя. На этот факт указывает «Хроника Быховца», где говорится, что «князь Володимер бегал на Москву и тем пробегал отчину свою Киев». Добиться поддержки великого князя Василия I Дмитриевича в борьбе против Витовта Владимиру Ольгердовичу не удалось, он был вынужден вернуться в Литву, где в 1395 г. получил освободившийся Копыльско-Слуцкий удел, а также ряд земель в Понеманье. В 1397 г. Иоанн-Скиргайло был отравлен Фомой, наместником митрополита Киприана в Киеве. Однако киевский стол перешёл не к Владимиру Ольгердовичу, а к верным сподвижникам Витовта – князьям Иоанну Борисовичу и Иоанну Ольгимонтовичу Гольшанскому. В 1398 г. Владимир Ольгердович примкнул к возглавляемой Витовтом оппозиции королю Владиславу-Ягайло, недовольной условиями Кревской унии и требованием выплачивать дань в Польшу в пользу королевы Ядвиги (с православных земель Витебского княжества и Поднепровья). Осенью 1398 г. Владимир Ольгердович стал участником съезда русско-литовской знати (православной и католической) на острове Салин на Немане, провозгласившего Витовта «королём Литвы». 12 октября того же года Владимир Ольгердович был в числе лиц со стороны Великого княжества Литовского, утвердивших мирный договор с крестоносцами. Вскоре Владимир Ольгердович умер. Дата его смерти неизвестна, косвенно на неё указывает тот факт, что он не принимал участия в битве на реке Ворскле 12 августа 1399 г.; кроме того, в конце 1398 г. – середине лета 1399 г. Литовский великий князь Витовт подтвердил жалованную грамоту Владимира Ольгердовича киевскому доминиканскому монастырю, что свидетельствует о том, что к этому времени бывший Киевский князь скончался. Владимир Ольгердович был похоронен в Успенской церкви Киево-Печерского монастыря. Он стал родоначальником влиятельных магнатских родов на территории Великого княжества Литовского – князей Слуцких-Олельковичей и Бельских, вместе с ним записанных в синодики Киево-Печерского, слуцкого во имя Святой троицы монастырей и, как полагают исследователи, киевского Николо-Пустынного монастыря. Последним представителем рода Слуцких-Олельковичей была княжна София Юрьевна Радзивилл (ум. в 1612 г.); её мощи почивали в слуцком Троицком монастыре, ктиторами которого начиная с XV в. были потомки Владимира Ольгердовича.