Энергическая защита Гаазом своих действий и воззрений, по-видимому, произвела своё действие, хотя ему пришлось испытать, как видно из его заявлений в комитете, неудовольствие искренне им любимого Голицына и даже, вследствие столкновений с членами комитета, оставить должность секретаря, которую он исполнял с 1829 г., но его права по пересыльному замку не были ограничены, и он по-прежнему усердно и решительно отправлял в больницу на Воробьёвых горах не только слабых, усталых и больных, но и таких, «душевные недуги» которых надо было «исправить». Так продолжалось до 1839 г. В этом году исправлявший должность генерал-губернатора московский комендант Стааль, «признавая совершенное самоотвержение господина Гааза, но удерживая, однако же, мысль, что и в самом добре излишество вредно, если оно останавливает ход дел, законом учреждённый», просил комитет «ограничить распоряжения лица, удерживающего в пересыльном замке арестантов». Это послужило сигналом для новых нападений на Гааза со всех сторон. Со стороны полиции пошли жалобы, а командированный комитетом для проверки его действий при отправлении партий директор Розенштраух и секретарь комитета Померанцев стали резко осуждать его. Наконец, и сам князь Голицын, уже больной, начал приходить в раздражение от постоянных жалоб на «утрированного филантропа» и в 1839 г. предписал ему представлять для проверки в комитет и губернское правление списки оставляемых им в Москве, с точным обозначением их болезни, которая вынудила его на эту меру, а комитет потребовал, чтобы вместе с этими списками представлялись о том же и списки Гофмана. В довершение всего, по распоряжению Министра внутренних дел, основанному, вероятно, на жалобах Капцевича о неправильных действиях Гааза и о его столкновениях с властями, было начато гражданским губернатором дознание и, с согласия князя Голицына, 22 ноября 1839 г. Гааз совершенно устранён от заведования освидетельствованием пересыльных. Последнее распоряжение до крайности оскорбило старика. Его объяснение комитету и докладная записка Голицыну носят следы глубокой горечи и негодования: «Я призываю небо в свидетели, что ни губернское правление, ни какое-либо другое лицо не будут в состоянии указать на какой-нибудь поступок с моей стороны, который сделал бы меня недостойным доверия, которым я до сего времени пользовался». Он продолжает со скорбью: «Я не раз высказывал в комитете уверенность, что и другие его члены, если захотят, лучше выполнят моё дело и что единственное моё преимущество – это неимение других занятий, которые могли бы меня отвлечь от любимого мною занятия – заботы о больных и арестантах. Теперь же никто не занял моего места в пересыльной тюрьме, и вот уже четыре недели никто не посетил ссылаемых!». Указывая, что он не считал возможным заботиться только о телесных нуждах арестантов, он заявляет князю Голицыну, что ждал присутствования при отправлении партий как награды за свой труд. Мысль о том, что с его удалением исчезло действительное попечение о пересыльных, что там, где ещё так недавно на их нужды отзывалось его сердце, начались злоупотребления, неизбежные при полном бесправии арестантов и формальном отношении к ним властей, мучила его и порождала ряд просьб и заявлений, написанных почерком, обличающим нервную и нетерпеливую руку. 24 декабря 1839 г. он пишет гражданскому губернатору: «Позвольте мне выразить моё предчувствие, что если жалобам на оставление ссыльных в Москве не будет дано справедливого разъяснения, то снова настанет то время (чему уже есть примеры), когда людей, просящих со скромностью о своих нуждах, дерут за волосы, бранят всячески напрасно, таскают их и совершают такие действия, при виде коих должно полагать себя более на берегах Сенегальских, нежели на месте, где определительно велено учить людей благочестию и доброй нравственности, так, чтобы содержание их служило более к исправлению, нежели к их ожесточению».