С 1580 г. начался самый плодотворный период в творческой жизни Карела ван Мандера. Он пишет обнажённые фигуры Адама и Евы, картину «Потоп», создаёт надгробную композицию для Франсуа ван Мандера. Происходят изменения и в личной жизни художника. Увлёкшись красивой 18-летней деревенской девушкой, Карел ван Мандер женится на ней и переезжает в Куртре. Здесь он выполняет заказ на алтарную картину с двумя створками. Но в 1582 г. в связи с эпидемией чумы Карел ван Мандер вместе с женой и новорождённым сыном Питером был вынужден переехать в Брюгге, а затем в Харлем. В 1583 г. обосновался в Харлеме, основав там (вместе с Хендриком Гольциусом и Корнелиссеном Корнелисом) Академию искусства. Писал маньеристические пейзажи, жанры и аллегорико-мифологические картины («Сад любви», 1602 г., Эрмитаж, Петербург). В 1604 г. переехал в Амстердам. В Голландии Карел ван Мандер, получивший к тому времени большую известность, много работает гризайлью; пишет картины на религиозные, исторические и бытовые сюжеты («Великодушие Сципиона, 1600 г., холст, масло; «Куртуазная сцена в дворцовом саду», 1600 г., бумага, перо и кисть коричневым тоном по подготовке чёрным мелом, Государственный Эрмитаж, Источник поступления в музей: Собрание Академии художеств в Петрограде. 1924 г.; «Сыны Израиля, пляшущие вокруг золотого тельца», около 1680 г., холст, масло). Отдавая в этот период явное предпочтение живописи, Карел ван Мандер всё же не забывал и о литературе. Более того, он решил соединить их в одном произведении. Так возник замысел «Книги о художниках», над которой Карел ван Мандер работал с 1583 по 1603 гг. Свой труд он адресовал художественной молодёжи, которую хотел познакомить с творчеством выдающихся мастеров прошлого и современников. Подчёркивая важность этой работы, в предисловии к книге художник писал о том, что «положил немало трудов и времени в честь и к удовольствию искусства живописи и всех его благородных представителей, а также в поучение и увеселение молодёжи живописцев». За пространным введением («Основы благородного свободного искусства живописи») следует обширный свод жизнеописаний известных античных, итальянских, нидерландских и немецких художников – беспрецедентный (в том что касается Нидерландов и Германии) по своей обстоятельности и широте охвата. Последними идут глава с комментариями к «Метаморфозам» Овидия (как популярному источнику художественных сюжетов и символов) и обзор античной иконографии. Свод биографий, который обычно переиздаётся в виде отдельной книги (как было и с русским его переводом), до сих пор служит бесценным источником сведений о Яне ван Эйке, Питере Брейгеле Старшем и других мастерах.