Для укрепления обороны пограничного Серпуховского княжества Владимир Андреевич возводит в 1374 г. на месте старинного большого села Серпуховское мощную по тем временам дубовую крепость. Дата ее возведения и считается временем основания Серпухова. Внутри крепости были поставлены и княжеские палаты, стены которых Владимир приказал расписать видами Москвы.

Рядом с городом князь решил построить монастырь, хотя один монастырь — Владычин, основанный здесь митрополитом Алексеем, уже стоял. Для выбора места новой обители Владимир Андреевич пригласил самого почитаемого тогда на Руси подвижника — Сергия Радонежского. Сергий выбрал село Высокое. Здесь и был поставлен новый монастырь, а первым его настоятелем стал ученик Сергия Радонежского — Афанасий. И Владычин монастырь, и княжеский Высоцкий монастырь были посвящены Богородице. Первая церковь княжеского Высоцкого Богородичного монастыря была освящена в 1380 г.

В 1375 г. Москве удалось создать из многих великих и удельных князей большую антитверскую коалицию, деятельным членом ее был и серпуховской князь Владимир. В результате общего похода на Тверь Дмитрий Московский смог наконец вырвать у Михаила Тверского докончание (договор), где тот признавал ярлык на великое княжение Московское вотчиной московских князей (т. е. их наследственным владением), себя называл «братом молодшим» великого московского князя и обещал, «если Бог переменит Орду» и будет Дмитрий воевать с ней, идти ему на помощь. Кстати, это докончание Дмитрия Московского и Михаила Тверского — первый документ, где зафиксирована готовность Москвы к возможной войне с Ордой.

В 1376 г. Владимир один ходил на Ржеву, но без успеха.

После смерти великого князя Ольгерда великокняжеский престол русско-литовского государства отошел его младшему сыну Ягайло (в Литве был жив еще древний обычай миноритета). В 1379 г. Владимир Андреевич ходил в западно-русские пределы отстаивать интересы своего шурина, полоцкого князя Андрея Ольгердовича, старшего брата Ягайло. Вместе с Андреем и волынским боярином Дмитрием Михайловичем Боброком Владимир Серпуховской взял Трубчевск, Стародуб и ряд других волостей Великого княжества Литовского и Русского.