Так счастливо для Москвы кончилась борьба с Тверью, т. е. с Литвою по поводу Твери. В том же году Олгерд попустошил Смоленскую волость за то, что князь ее воевал против Михаила тверского; с другой стороны, татары опустошили волости Нижегородскую и Новосильскую за то же самое; но московский князь оставался в покое ив 1376 году посылал Владимира Андреевича с войском ко Ржеву; серпуховской князь, по обычаю, пожег посад, но, простояв три дня под крепостью, возвратился назад. Тверской князь не думал разрывать союза с Литвою: еще в 1375 г в Тверь приведена была дочь Кейстутова Марья, окрещена и выдана замуж за сына великого князя Михаила, Ивана. Но союз этот был бесполезен для тверского князя, ибо в 1377 году умер Олгерд, постригшись перед смертью в монахи, причем мирское православное имя Александра переменил на имя Алексея. Еще прежде умер брат его князь волынский Любарт, который всю жизнь провел в борьбе с поляками, стремившимися овладеть и Волынью, как овладели Галичем. Великим князем стал сын Олгерда Ягайло, в православии Яков, и дядя Кейстут, князь троцкий, присягнул племяннику. Но Ягайло, подобно дяде Евнутию, взял старшинство не по праву, мимо старшего брата, Вингольта Андрея, рожденного от первой жены Олгердовой; Андрей, княживший в Полоцке, объявил было свои притязания на старшинство, но, не получая ниоткуда подкрепления, должен был уступить Ягайлу, лишился своей волости и бежал в Псков, где жители посадили его на княжение с согласия великого князя Димитрия, к которому Андрей ездил в Москву. Димитрий хотел воспользоваться этою смутою, и в 1379 году Андрей Олгердович вместе с серпуховским князем Владимиром Андреевичем и московским воеводою Димитрием Михайловичем Волынским от правились на литовские владения, взяли города Трубчевск и Стародуб, повоевали много станов и волостей и возвратились с большим богатством домой; брат Андрея Димитрий Олгердович, князь трубчевский, не сопротивлялся московским полкам: он вышел из города с семейством и боярами, поехал в Москву и вступил в службу великого князя, или, как выражается летописец, урядился в ряд и крепость взял; Димитрий принял его с честию, любовию и дал ему Переяславль со всеми пошлинами.
За этою смутою, которая доставила московскому князю двух верных слуг между сыновьями Олгердовыми, последовала другая, более опасная для Литвы, более выгодная для врагов ее. Ягайло не походил на отца и деда своего: был ленив, любил удовольствия и не имел твердого характера, вследствие чего подвергался влиянию окружавших его. Самым приближенным из них был Войдылло, о котором вот что говорит летописец: был у великого князя Олгерда паробок, крепостной холоп, звали его Войдыллом; сначала был он хлебником, полюбился великому князю, который взял его к себе постелю стлать и пить подавать, а наконец дал ему держать город Лиду. Силен был Войдылло при Олгерде; еще сильнее стал при Ягайле, который даже отдал за него родную сестру. Старому князю Кейстуту очень не понравилось, что племянницу его выдали за холопа; стал он попрекать и вдове Олгердовой, и Ягайлу, и самой племяннице, отсюда пошла ненависть между Кейстутом и Войдыллом, и последний стал думать, как бы избавиться от старика. С этою целик) он начал наговаривать Ягайлу на Кейстута и поднимать на него немецких рыцарей. Куно Либштейн, командор остерродский, кум Кейстута, послал сказать последнему: "Ты ничего не знаешь, как Ягайло беспрестанно посылает Войдылла к нам и уже договор с нами написал, чтоб отнять у тебя волости". Кейстут, получив эту весть, послал сказать сыну своему Витовту: "Ты живешь с Ягайлом в тесной дружбе, а он договорился с немцами на наше лихо". Витовт отвечал отцу, что ничему не надобно верить, что он живет с Ягайлом душа в душу, знает все его думы. Скоро, однако, правда обнаружилась. В Полоцке по изгнании Андрея Олгердовича княжил сын Кейстута Андрей, прозвищем Горбатый. Ягайлу или Войдыллу хотелось отнять эту волость у Кейстутовича и отдать ее родному брату Ягайлову, Скиригайлу; но полочане, старые вечники, никак не согласились на эту перемену и с позором выгнали от себя Скиригайла. Великий князь выслал против них сильное войско, с которым соединились и немцы; но полочане не потеряли духа: они объявили, что скорее поддадутся немцам, чем Скиригайлу, и вместе с Андреем мужественно отразили все приступы. Старик Кейстут, услыхав о полоцких происшествиях, опять стал жаловаться сыну своему Витовту на Ягайла: "За Войдылла отдал мою племянницу, уговорился с немцами на мое лихо; а вот теперь с кем мы воевали? с немцами? а он с ними заодно добывает Полоцка". Витовт отвечал и на этот раз, что он все еще не совсем верит коварству Ягайла, и выехал в Дрогичин, откуда скоро отправился в Гродно. Но старик Кейстут не разделял сомнений сына своего: он решился для собственной безопасности предупредить Ягайла, врасплох явился с войском перед Вильною, овладел ею, взял в плен Ягайла со всем семейством, захватил все грамоты и, между прочим, последний договор Ягайла с немцами.