Ссора офицеров кончилась тем, что Миллера перевели в Казань полковником Свияжского полка; в Холмогорах ему нечего было больше делать, потому что в начале 1756 года принца Иоанна перевели в Шлюссельбург. Сержант лейб-компании Савин вывез его из Холмогор тайно в глухую ночь, причем Вымдонский получил указ: "Оставшихся арестантов содержать по-прежнему, еще и строже и с прибавкою караула, чтоб не подать вида о вывозе арестанта, о чем накрепко подтвердить команде вашей, кто будет знать о вывозе арестанта, чтобы никому не сказывал; в Кабинет наш и по отправлении арестанта репортовать, что он под вашим караулом находится, как и прежде репортовали; а за Антоном Ульрихом и за детьми его смотреть наикрепчайшим образом, чтобы не учинили утечки". В Шлюссельбурге надзор за Иваном Антоновичем был поручен гвардии капитану Шубину, который получил такую инструкцию от Александра Ив. Шувалова, ведавшего тайные дела после Ушакова:
"Быть у онаго арестанта вам самому и Ингерманландского пехотного полка прапорщику Власьеву, а когда за нужное найдете, то быть и сержанту Луке Чекину в той казарме дозволяется, а кроме же вас и прапорщика, в ту казарму никому ни для чего не входить, чтоб арестанта видеть никто не мог, також арестанта из казармы не выпускать; когда же для убирания в казарме всякой нечистоты кто впущен будет, тогда арестанту быть за ширмами, чтобы его видеть не могли. Где вы обретаться будете, запрещается вам и команде вашей под жесточайшим гневом ее и. в-ства никому не писать; когда же иметь будете нужду писать в дом ваш, то не именуя, из которого места, при прочих репортах присылать, напротив которых и к вам обратно письма присыланы будут от меня чрез майора Бередникова (шлюссельбургского коменданта). Арестанту пища определена в обед по пяти и в ужин по пяти же блюд, в каждый день вина по одной, полпива по шести бутылок, квасу потребное число. В котором месте арестант содержится и далеко ли от Петербурга или от Москвы, арестанту не сказывать, чтобы он не знал. Вам и команде вашей, кто допущен будет арестанта видеть, отнюдь никому не сказывать, каков арестант, стар или молод, русский или иностранец, о чем подтвердить под смертною казнью, коли кто скажет".
За болезнью Шубина отправлен был капитан Овцын, к которому Шувалов писал 30 ноября 1757 года: "В инструкции вашей упоминается, чтобы в крепость, хотя б генерал приехал, не впускать; еще вам присовокупляется, хотя б и фельдмаршал и подобный им, никого не впущать и комнаты его императ. высочества вел. князя Петра Федоровича камердинера Карновича в крепость не пускать и объявить ему, что без указа Тайной канцелярии пускать не велено". Приведем любопытнейшие донесения Овцына о вверенном ему арестанте. В мае 1759 года он писал: "Об арестанте доношу, что он здоров и, хотя в нем болезни никакой не видно, только в уме несколько помешался, что его портят шептаньем, дутьем, пусканьем изо рта огня и дыма; кто в постели лежа повернется или ногу переложит, за то сердится, сказывает, шепчут и тем его портят; приходил раз, к подпоручику, чтоб его бить, и мне говорил, чтоб его унять, и ежели не уйму, то он станет бить; когда я стану разговаривать (разубеждать), то и меня таким же еретиком называет; ежели в сенях или на галереи часовой стукнет или кашлянет, за то сердится". В июне: "Арестант здоров, а в поступках так же, как и прежде, не могу понять, воистину ль он в уме помешался или притворничествует. Сего месяца 10 числа осердился, что не дал ему ножниц; схватив меня за рукав, кричал, что когда он говорит о порче, чтоб смотреть на лицо его прилежно и будто я с ним говорю грубо, а подпоручику, крича, говорил: "Смеешь ли ты, свинья, со мною говорить?" Садился на окно - я опасен, чтоб, разбив стекло, не бросился вон; и когда говорю, чтоб не садился, не слушает и многие беспокойства делает. Во время обеда за столом всегда кривляет рот, головою и ложкою на меня, тажке и на прочих взмахивает и многие другие проказы делает. Стараюсь ему угождать, только ничем не могу, и что более угождаю, то более беспокойствует. 14 числа по обыкновению своему говорил мне о порче; я сказал ему: "Пожалуй, оставь, я этой пустоты более слушать не хочу", потом пошел от него прочь. Он, охватя меня за рукав, с великим сердцем рванул так, что тулуп изорвал. Я, боясь, чтоб он не убил, закричал на него: "Что, ты меня бить хочешь! Поэтому я тебя уйму", на что он кричал: "Смеешь ли ты унимать? Я сам тебя уйму". И если б я не вышел из казармы, он бы меня убил. Опасаюсь, чтоб не согрешить, ежели не донести, что он в уме не помешался, однако ж весьма сомневаюся, потому что о прочем обо всем говорит порядочно, доказывает евангелием, апостолом, минеею, прологом, Маргаритою и прочими книгами, сказывает, в котором месте и в житии которого святого пишет; когда я говорил ему, что напрасно сердится, чем прогневляет бога и много себе худа сделает, на что говорит, ежели б он жил с монахами в монастыре, то б и не сердился, там еретиков нет, и часто смеется, только весьма скрытно; нонешнее время перед прежним гораздо более беспокойствует". В июле: "Прикажите кого прислать, истинно возможности нет; я и о них (офицерах) весьма сомневаюсь, что нарочно раздражают; не знаю, что делать, всякий час боюсь, что кого убьет; пока репорт писал, несколько раз принужден был входить к нему для успокоения, и много раз старается о себе, кто он, сказывать, только я запрещаю ему, выхожу вон".