По приказанию Шувалова Овцын спросил у арестанта, кто он? Сначала ответил, что он человек великий и один подлый офицер то у него отнял и имя переменил, а потом назвал себя принцем. "Я ему сказал, - писал Овцын, - чтоб он о себе той пустоты не думал и впредь того не врал, на что, весьма осердись, на меня закричал, для чего я смею ему так говорить и запрещать такому великому человеку. Я ему повторял, чтоб он этой пустоты, конечно, не думал и не врал и ему то приказываю повелением, на что он закричал: я и повелителя не слушаю, потом еще два раза закричал, что он принц, и пошел с великим сердцем ко мне; я, боясь, чтоб он не убил, вышел за дверь и опять, помедля, к нему вошел: он, бегая по казарме в великом сердце, шептал, что - не слышно. Видно, что ноне гораздо более прежнего помешался; дня три как в лице, кажется, несколько почернел, и, чтоб от него не робеть, в том, высокосиятельнейший граф, воздержаться не могу; один с ним остаться не могу; когда станет шалить и сделает страшную рожу, отчего я в лице изменюсь; он, то видя, более шалит". Однажды Иван Антонович начал бранить Овцына неприличными словами и кричал: "Смеешь ты на меня кричать: я здешней империи принц и государь ваш". По приказу Шувалова Овцын сказал арестанту, что "если он пустоты своей врать не отстанет, также и с офицерами драться, то все платье от него отберут и пища ему не такая будет". Услыхав это, арестант спросил: "Кто так велел сказать?" "Тот, кто всем нам командир", - отвечал Овцын. "Все это вранье, - сказал Иван, - и никого не слушаюсь, разве сама императрица мне прикажет".
В сентябре 1759 года арестант вел себя несколько смирнее; потом опять стал браниться и драться, и не было спокойного часа; с ноября опять стал смирен и послушен. В апреле 1760 года Овцын доносил: "Арестант здоров и временем беспокоен, а до того всегда его доводят офицеры, всегда его дразнят". В 1761 году придумали средство лечить его от беспокойства: не давали чаю, не давали чулок крепких, и он присмирел совершенно.
О родных Ивана Антоновича, оставшихся в Холмогорах, сохранилось следующее известие Зыбина: "Принц Антон Ульрих сложения толстого и многокровного и нередко подвержен разным припадкам, особенно страдает грудью, однако не очень сильно и продолжительно; по заявлению лекарскому имеет начало цинготной болезни; нравом кажется тих и ведет себя смирно. Дети его: дочери - большая, Екатерина, сложения больного и почти чахотного, притом несколько глуха, говорит немо и невнятно и одержима всегда разными болезненными припадками, нрава очень тихого; другая его дочь, Елисавета, которая родилась в Дюнаминде, росту для женщины немалого и сложения ныне становится плотного, нрава несколько горячего, подвержена разным и нередким болезненным припадкам, особенно не один уже год впадает в меланхолию и немало времени ею страдает. Сыновья: старший, Петр, родился в Холмогорах в 745 году, сложенья больного и чахоточного, несколько кривоплеч и кривоног; меньшой сын, Алексей, родился в Холмогорах в 746 году, сложения плотноватого и здорового, и хотя имеет припадки, но еще детские. Живут все они с начала и до сих пор в одних покоях безысходно, нет между ними сеней, но из покоя в покой только одни двери, покои старинные, малые и тесные. Сыновья Антона Ульриха и спят с ним в одном покое. Когда мы приходим к ним для надзирания, то называем их по обычаю прежних командиров принцами и принцессами".
В год смерти Анны Леопольдовны отозвался и враг ее Бирон из Ярославля, отозвался горькою жалобою на свое бедственное положение. 18 марта 1746 года он писал императрице: "К здешнему воеводе указ прислан из высокого Кабинета, в котором изображено, якобы по моему приказу козацкого полка полковник Ливен одного здешнего мещанина арестовать и бить велел. Всемилостивейшая императрица! Сколь велико мое бедствие ни есть и сколь долго оное ни продолжается, однако ж моего разума не лишен, чтоб я в такие дела вмешался. Я знаю, в каком состоянии я нахожусь. Все наказания, кои выдуманы быть могут, претерплю я с радостью, ежели я правильно в чем изобличен быть могу, а полковник Ливен должен отчет и отповедь дать. Оного человека я не знаю, он же ни мне, ни моим домашним никакой беды не сделал: что же бы меня к тому побудило! Но я такими людьми здесь окружен, от которых ежедневно многие утеснения претерпевать принужден без всякой моей вины, итак, ваше императ. величество прошу не допустить, чтоб я безвинно мучим был".
К Бестужеву Бирон писал по тому же случаю: "Несчастье мое ежеденно умножается; я желал бы все то претерпевать, ежели б я в чем виновен был; но о сем приключении я столько знал, сколько о часе моей смерти; я того человека никогда не знал. Я здесь между львами и змеями нахожусь. Здешний воевода и его жена известны суть; они на меня озлобились, потому что я их больше не дарю, как то прежде делал, когда я еще нечто имел. Майор Лакастов с фабрики, который с воеводою в ссоре был, добрым приятелем сделался. Сей человек нам всякую досаду причиняет; я не могу, да и не смею упомянуть, что мы от сего человека без причины претерпеваем.