Чем хуже шли дела в Белоруссии и Литве, тем сильнее становилось в Москве желание мира. В 1661 году попытка царя задержать военные действия мирными переговорами не удалась. Съезд посольский, обещанный в октябре, не состоялся. В марте 1662 года новый посланник царский, стольник Нестеров, приезжал в Варшаву с тем же предложением перемирия на время посольских съездов. Сенаторы отвечали, что если царь уступит королю Киев, Переяславль, Нежин и все черкасские города Заднепровской Путивльской стороны, также Полоцк, Витебск, Динабург, Борисов и Быхов, то король велит заключить перемирие и удержать войска месяца на два или на три для посольского съезда, которому быть на Поляновке. Нестеров отвечал, что в два или три месяца уполномоченные не успеют съехаться; для перемирия на два или на три года он уступит королю Борисов, о других же городах ему говорить не наказано; потом согласился уступить еще Динабург: но паны объявили ему решительно, что перемирия не будет, а ратные люди отведутся на 15 миль от того места, где будет назначен съезд уполномоченных; сенаторы прибавили, что если постановлять договор о перемирье, то надобно посылать к крымскому хану, что потребует много времени; без пересылки же с крымским ханом перемирья заключить нельзя. Нестеров отвечал на это: "Удивительно, что королевское величество и вся Речь Посполитая в государстве своем без ведома искони вечного христианского неприятеля крымского хана сделать ничего не можете и не смеете; а крымский хан между христианскими государствами никогда покою не пожелает, и о том королевскому величеству крымского хана спрашивать не доведется". Паны отвечали: "Крымский хан нам товарищ, да и король и вся Речь Посполитая перемирья заключить не хотят". На это Нестеров сказал: "С которой стороны перемирью не быть, с той стороны и правде не быть". Но царские уполномоченные - боярин князь Никита Иванович Одоевский, боярин князь Иван Семенович Прозоровский, думный дворянин Афанасий Лаврентьевич Ордин-Нащокин и думный дьяк Алмаз Иванов уже отправились в Смоленск, куда к ним высланы были и польские пленники - гетман Гонсевский, полковники Неверовский и Обухович с товарищами, всего 212 человек, потому что за этих пленников король обещал отдать окольничего князя Осипа Щербатого, стольников князей Семена Щербатого и Григорья Козловского, Ивана Акинфова; а гетман Гонсевский обещал государю, что за него король даст кроме означенных пленников еще князя Петра Хованского. Гонсевского немедленно отпустили из Смоленска в Шклов; но русские пленники не были возвращены, потому что Потоцкий, Любомирский, Чарнецкий, на долю которых они достались, не хотели отпустить их без окупу. Между тем из Борисова пришла весть, что съестные запасы все вышли и немцы сильно скучают; в Москве признали невозможным поддерживать долее этот город и послали приказ воеводе его Хлопову покинуть Борисов. 9 июля Хлопов исполнил приказ, вышел из города со всеми ратными людьми, пушками, запасами и казною.
Лето проходило. Польские комиссары не являлись для переговоров. Австрийские послы, приехавшие для посредничества, жили понапрасну в Смоленске. В августе приехал в Смоленск выпущенный из плена окольничий князь Осип Щербатый; но вместе с ним приехал львовский купец грек Кирьяк, который заплатил за пленника Потоцкому 20000 золотых польских и теперь приехал искать своих денег. Так как Потоцкий взял деньги вопреки решению короля и сейма, определивших, чтоб пленных не давать на окуп, то в записи, данной Щербатовым, было означено, что окольничий посулил гетману подарок за его добродейство. Полномочные послы велели выгнать Кирьяка из Смоленска и писали шкловскому коменданту: "Вы пишете в своей грамоте, что окольничий князь Щербатов отпущен из шкловской крепости по приказу королевскому за гетмана Гонсевского: так вопреки указу королевскому с какой стати он будет еще платить деньги за какое-то добродейство гетмана Потоцкого? То ли гетманское добродейство, что вопреки присяге своей вместо увольнения пленником его сделал и, по бусурманскому обычаю, захотел его продать? Когда гетман Гонсевский по милости великого государя нашего из плена был освобожден, то на нем никаких подарков никто не спрашивал. Христианское ли то дело, чтоб христианину христианами как скотом торговать и прибыли по-бусурмански искать?" Несчастный грек считал также себя вправе думать, что с ним поступили по-бусурмански: он писал к Одоевскому с товарищи: "Сам князь Щербатов обещался мне и поручился; вы обещались, что будет мне свободный пропуск в Москву. Я у пленников был отцом и добродеем, а теперь как изменник выгнан из Смоленска. Христианское ли это дело - бедного торгового человека приводить к такой пагубе, что мне уже незачем к бедным моим детям возвратиться? Камень бы заплакал, смотря на мою обиду, какой и бусурманы не делают. Такие обиды государства до пагубы приводят. Со слезами к ногам вашим припадаю, пропустите меня к наияснейшему царю, а он, государь христианский великий, еще ни одному нашему брату торговому человеку обиды не сделал и бедных сирот не ослезил". Потоцкий прикрыл выкуп именем подарка, но Чарнецкий не считал нужным церемониться: он прямо потребовал с пленных, находившихся у него в Тикотине, с 75 человек окупу 16000 рублей, мех рысий или за него сто рублей денег да барса; пленники посулили окуп, не стерпя тяжкой нехристианской неволи и немерной работы. Послы отписали Чарнецкому, чтоб он, зная сеймовое постановление о размене пленных, оставил бусурманский обычай; отписали всему войску коронному, чтоб оно московских пленников высылало на размену на своих поляков, которых множество в Московском государстве. Наконец в сентябре освобождены были обещанные за Гонсевского знатные пленники - князья Семен Щербатый, Григорий Козловский, Петр Хованский, Иван Акинфов. Для остальных назначена была в местечке Горах генеральная размена, для чего съехались с обеих сторон разменные комиссары; меняли чин на чин и человека на человека; на время размены условились прекратить неприятельские действия. В октябре комиссары разъехались, не кончивши размены; русские комиссары жаловались на несоблюдение условий со стороны поляков. Во время размены королевские ратные люди приходили под Витебск, в Витебском повете села и деревни разорили и город держали в большой тесноте; другой отряд поляков приходил под Великие Луки, выжег посады, в уезде села и деревни разорил; наконец во время же размены поляки напали на русский отряд, возвращавшийся с хлебными запасами из Полоцка в Витебск. Польские комиссары не отдавали русских начальных людей на обмен за польских, своих начальных людей называли волонтерами и шишами; за русских полковников и полуполковников просили своих товарищей по шести и по семи человек; товарищей, драгунов и челядников, брали выбором, шляхту, свою братью, родовитых людей, называли челядью и хлопцами и давали за них не против их версты людей боярских и мужиков, побранных в обозах и в дороге за возами, а не на бою. Тщетно русские комиссары настаивали, чтоб поляки брали за полковника шляхты и драгунов по четыре человека, за полуполковника по три, а за иные чины, кроме прапорщиков, по два; поляки делали по-своему и, оставя своих пленных, человек с двести, уехали из Гор и задержали русских пленных, начальных людей, в Шклове. Освобождено же было русских пленников всего 438 человек, поляков отпущено 381 человек; за разменом осталось в Смоленске поляков и литвы 366 человек да у князя Петра Долгорукого 150; польские комиссары потому требовали так много шляхты за начальных русских людей, что между польскими пленными начальных людей не было. Не зная еще о прекращении размены, из Москвы продолжали высылать польских пленников, так что в ноябре в Смоленске было их 611 человек; двор, на котором прежде помещались пленники, и тюрьма стали тесны, а на мещанских дворах ставить их было нельзя, потому что все дворы были заняты ратными людьми. Пленным давали - шляхтичу по десяти медных денег на день, челяднику и драгуну по шести, да каждому по четверику сухарей и по гривенке соли на месяц. Но воевода смоленский князь Петр Долгорукий объявил, что в казне сухарей мало и вперед пленным давать будет нечего. Государь, получив об этом известие, велел Одоевскому давать за русских начальных людей столько польских пленников, сколько запросят комиссары, лишь бы русские люди, будучи в плену, не померли напрасною смертью.