Падение Матвеева было решено: представили, что нельзя такого подозрительного человека оставить правителем аптеки, когда государь болен, и аптеку отняли у Матвеева; потом датский резидент Монс Гей, уезжая из Москвы, прислал жалобу, что Матвеев не доплатил ему 500 рублей за рейнское вино, поставленное им ко двору, и что на его требование прислали ему из Посольского приказа фальшивый контракт на эту поставку. 500 рублей велели заплатить Гею и воспользовались этим случаем, чтоб отнять у Матвеева заведование посольскими делами и удалить его из Москвы. Когда Матвеев приехал по обычаю во дворец, боярин Родион Матвеевич Стрешнев вынес указ из комнаты в переднюю и объявил ему: "Указал великий государь быть тебе на службе в Верхотурье воеводою". Посольский приказ был поручен думному дьяку Лариону Иванову. Матвеев с сыном и племянниками отправился в почетную ссылку; при них был монах, священник, учитель сына польский шляхтич Поборский, большая дворня; взяты были две пушки для безопасности. Но в Лаишеве Матвеева остановили: приехал полуголова московских стрельцов Лужин и потребовал книги лечебника, в котором многие статьи писаны цифирью, потребовал двоих людей: Ивана-еврея и карлу Захара; Матвеев отвечал, что книги нет, а людей выдал. С месяц после этого прожил Матвеев в Лаишеве, как однажды разбудили его ночью: приехали из Москвы думный дворянин Соковнин и думный дьяк Семенов: "Давай жену Ивана еврея, давай письма, давай имение на осмотр, давай племянников, давай монаха, давай священника, давай всех людей!" Матвеев сейчас все и всех выдал; Соковнин и Семенов поехали на съезжий двор и послали оттуда за Матвеевым, чтоб пришел сейчас же; боярин пошел пешком; здесь расспрашивали его племянников и людей о знаменитом лечебнике, взяли сказки за руками, взяли с Матвеева сказку о том, как составлялись и подносились лекарства больному царю. Матвеев показал, что лекарства составлялись докторами Костериусом и Стефаном Симоном по рецепту, а рецепты хранятся в аптекарской палате; всякое лекарство отведывал прежде доктор, потом он, Матвеев, а после него дядьки государевы, бояре, князь Федор Федорович Куракин и Иван Богданович Хитрово, после же приема что оставалось лекарства допивал опять он же, Матвеев, в глазах государя. За Соковниным и Семеновым явился в Лаишев дворянин с указом перевести Матвеева в Казань. Здесь воевода Иван Богданович Милославский приставил к нему караул, и скоро пришел царский указ - отпустить людей по деревням, других на волю; потом ночью приехал дьяк Горохов: "Где имение, давай сейчас!" Матвеев отвечал: "В животах моих ни краденого, ни разбойного, ни воровского, ни изменного, ни заповедного нет, животы отца моего и родителей его, животы матери моей и родителей ее и мои нажитые милостию божиею и великих государей жалованьем, за посольские службы и за мои работы ратные, за крови и за всякие великие работы в 69 лет нажитые, а когда час пришел невинному нашему разоренью, что великий государь изволил животы все взять без вины моей, в том воля божия и его, государская!" Приехал стольник Тухачевский, назначенный приставом к Матвееву, и потребовал от него пушек, пороху, свинцу, панцирей, шапок, наручей. "К унятию всякого воровства был я починщик, а не к начинанию", - отвечал Матвеев. Затем явился присланный от воеводы стрелецкий голова, взял Матвеева, сына его, людей с женами и детьми и повел в съезжую избу пешком, на позор людям. Тут в съезжей избе объявили ему вины: он написал в сказке своей в Лаишеве, что после приема лекарства государем остаток выпивал он, Матвеев; но дядьки государевы, князь Куракин и Хитрово, объявили, что никогда он не выпивал остатков. Лекарь Давыд Берлов донес, что лечил он у Матвеева человека его, карлу Захара, и тот говорил ему, что болен от господских побой: однажды он заснул за печью в палате, в которой Матвеев с доктором Стефаном читали черную книгу; во время этого чтения пришло к ним множество злых духов и объявили, что есть у них в избе третий человек; Матвеев вскочил и, найдя его за печью, сорвал с него шубу, поднял, ударил о землю, топтал и выкинул из палаты замертво. Берлов прибавил, что он сам видел, как Матвеев с доктором Стефаном и переводчиком греком Спафари, запершись, читали черную книгу; Спафари учил по этой книге Матвеева и сына его Андрея. Матвеев хотел было говорить, но дьяк Горохов крикнул: "Слушай! Молчи, а не говори". У Матвеева отняли боярство, все имение, дали только тысячу рублей и сослали на житье в Пустозерск вместе с сыном.
В страшном горе, среди лишений всякого рода Матвеев отправил три челобитные к царю с оправданием, к патриарху и ближним боярам с просьбами о ходатайстве. Старик, опытный в делах правления, но неопытный в бедствиях жизни, не мог отказать себе в утешении жаловаться и надеяться, что жалоба будет иметь действие, не рассудил, что самая бессмысленность обвинений и незаконность заочного осуждения отнимали всякую надежду к оправданию и облегчению участи, пока несовершеннолетний царь окружен Милославскими и Хитрово с товарищами. "Я, холоп твой, - писал Матвеев государю, - хочу быть прав размолвкою лекаря Давыдка и человека моего, карла Захарка. Перед твоими боярами Захарка расспрашиван и пытан, и сказал, что в то время, как я с доктором Стефаном и Спафарием читал книгу, он, Захарка, за печью уснул и захрапел и будто я, услыхав его храпение, схватил его за волосы и толкнул через порог; но он ничего не сказал с пытки о приходе злых духов; ясно, что вор Давыдка это выдумал. А хотя бы Захарка и сказал, что видел злых духов, то верить нечему, надлежало бы допросить его, как он нечистых духов мог видеть, каковы их образы и почему он знает образ духов нечистых? А вор Давыдка почему не сказал, что мы читали в черной книге, какие дела и какие слова слышал он в чтении? И чему меня и сынишку моего Спафарий учил? У карлы Захарки два ребра переломлены, но переломил их ему Иван Соловцов, с которым он играл, а не от моих побоев он был болен. Злые духи сказали, что "есть у вас в комнате третий человек", т. е. Захарка, но сам Захарка показал, что трое нас читали черную книгу: я, доктор Стефан и Спафарий, и я не знаю, кто очелся! Духи ль, проклятые и низверженные, или воры, Давыдка и карла, четырех человек считают за три? Захарка сказал, что спал за печью; а у меня в той палатишке за печью спать нельзя: две стены у печи свободны, третья печью приделана к самой палатишке и промежка нет, а четвертая стена, у той - печное устье. Захарка же сказал, что он спал и храпел: как спящему человеку возможно слышать, кто что говорит? Или человеку храпление свое слышать? Спафарий меня не учил не только что богопротивному чему-нибудь, но и ничему: не до ученья было в ваших государских делах, а сынишка моего учил по-гречески и по-латыни литерам малой части. А книги я читал и строил в домишке своем ради душевные пользы и которые богу не противны. А служа вам, великим государям, сделал книги с товарищами своими, и с приказными людьми, и с переводчиками, в Посольском приказе, какие не бывали, и ныне на свидетельство моей и их работы в Посольском приказе. Доносят на меня, будто я многие взятки брал и тесноту твоим людям чинил, покупал отчины теснотою; но из городов и уездов, которые я ведал в приказах, никто тебе на меня челом не бивал и вперед бить не будет; когда я ехал в ссылку некоторыми из этих городов, то, кроме приятства и подаяния пищи, как подают убогим и разоренным, не слыхал на себя никакого нарекания. Служил я деду твоему и отцу в полковых службах. Когда ратные люди пошли из-под Львова и пришла самая нужда: отец сына, брат брата мечут, и пришел холод и голод, солдаты, стрельцы и дворяне пушки и всякие ратные припасы покинули на степи и разбежались, боярин Бутурлин пошел скорым походом, а меня оставил с пометанными пушками и запасами на степи; и я, с остальными людьми впрягаясь сам под пушки, все 59 пушек и с запасами допроводил до Белой Церкви и до Москвы. Как под Конотопом упадок учинился вашим государским людям и отступили воеводы к Путивлю, окоп, обоз, образец и путь строил я, холоп твой, и отошли в Путивль в целости, а когда князь Алексей Никитич Трубецкой хотел идти в черкасские города и ратные люди, не хотя идти, учинили бунт и привели его боярина за епанчу, то я с стрельцами его отнял. Прежде взятия Астрахани писал я к отцу твоему в троицкий поход, чтоб вора Стеньку Разина из Астрахани не отпускать для многих его воровских причин, как он первое ходил на море. Я с цесарскими посланниками договор учинил, чтобы вас, великих государей, вперед писать величеством, а не пресветлейшеством, я с польскими и шведскими послами договорился, чтобы они перед вами не сидели в шапках и шляпах. Я, будучи в приказе, учинил прибыли великие, вновь учинил аптеку, кружечный двор и из тех сборов сделал дворы каменные, посольский, греческий, лавки. До моего сидения в Малороссийском приказе посылывали ратным людям в Киев и иные города хлебные запасы из Брянска в судах: а те суда делывали тут же, в Брянске, и четверть ценою ставливалась в Киеве по 7 рублей и больше. А как я начал посылать на деньги хлеб, и четверть дороже рубля в купле не бывала. За теми расходами после преставления отца твоего объявил я тебе 182000 золотых и ефимков и денег мелких. Денежный двор 15 лет стоял пуст, туда серебра в заводе на денежное дело не бывало; я же завел делать на том дворе деньги, и от того дела непрестанная прибыль была в казну. И за все мои службишки пожалован я был вашею государскою милостию, боярством, отчинами, поместьями; я наживал вашею государскою милостию на службах полковых, и в посылках, и в посольских подарках, и у ваших государских дел будучи, и то все без вины отнято. Есть, великий государь, которые в чужих домах живали, и чужие платья нашивали, и чужой хлеб едали, и те при деде твоем и отце столько же или и больше моего, у таких дел будучи, наживали. Один я возненавиден и оглашен многими деньгами, и золотыми, и животы; а ныне о всех моих деньгах и о всей моей рухлядишке тебе известно: не таковы объявились, как об них донесено. Дано мне из нажитков отца и моего пожитченка тысяча рублев денег, и то твое жалованье не вем, на что издавать, на пищу ль себе или червю своему бедному сиротине в наследие? Кому поверено? Пьяному вору, датскому немчину, который, будучи на Москве, только славы учинил, как его возили пьяного, через лошадь и через седло перекиня или в карете положа вверх ногами, и ребята вопили вслед: "Пьяница! Пьяница! Шиш на Кокуй!" Петру Марселису пьяный разрезал рюмкою горло, чаять оттого и скончался. Чего ради я с ним не ставлен и не допрошен? За что он, вор, не возвращен с пути? Стеньку Разина все бояре на земском дворе расспрашивали и очные ставки давали: а меня, боярина, без суда осудили! Не ложно холопи твои у тебя, великого государя, чрез кровавые свои слезы милости просим: с голоду страждем и не можем части мяса купить; да не токмо мяса или калач, ей-ей и хлеба на две деньги купить не добудем; прожиточные люди здесь един борщ едят да прибавляют по горсти муки ржаной, а убогие один борщ, да и тот не родится в Пустозерске, привозят с Ижмы; бредут врознь глада ради и остальные в тот же путь смотрят".