На Cоборе в Вазионе («Concilium Vasense II») в ноябре 529 г. было принято постановление поминать за богослужением имя папы Римского. Также было принято два решения дисциплинарного характера: во-первых, приходские священники обязывались в своих домах обучать молодых неженатых чтецов; во-вторых, приходским священникам было дано право проповедовать, которое раньше было прерогативой епископов; при этом, если священник не может произнести проповедь, было предписано диаконам читать поучения св. отцов. Только 11 из подчинённых Кесарию епископов подписали эти решения (по сравнению с 17 епископами, подписавшими решения Арелатского собора 524 г.). В мае 533 г. под председательством Кесария был проведён Собор в Массилии (ныне Марсель) по делу Контумелиоза, епископа голда Рейи (Регий, ныне Рьез, Франция), аристократа по происхождению, который обвинялся в незаконной продаже церковного имущества и недостойном поведении. Собор постановил отправить Контумелиоза на покаяние в монастырь и обязал его компенсировать стоимость проданного имущества («Concilium Massiliense»). При этом Кесарий и его сторонники настаивали на пожизненном запрещении в служении для Контумелиоза, однако Собор оставил этот вопрос без решения. В апреле 534 г. папа Иоанн II по просьбе Кесария поддержал его позицию в письмах епископам Галлии, регийскому клиру и самому Кесарию. Тогда Кесарий обратился к подчинённым епископам с пространным письмом, в котором заявлял о неуместности их милосердия по отношению к Контумелиозу. Кесарий всегда хранил верность аскетическим идеалам своей юности и с любовью и почтением относился к Леринскому монастырю и его насельникам. Настоящий гимн Леринскому монастырю находится в одной из проповедей Кесария, обращённой к монахам. В Арелате он по примеру Августина Блаженного организовал полумонашескую общину, состоявшую из клириков, которые разделяли с ним общую трапезу, совершали монастырские службы, а некоторые жили в одном доме с епископом. В проповедях Кесарий приравнивал клириков к монахам (исследователи предполагают, что в арелатской общине клириков, в частности, был воспитан Киприан, будущий епископ Телонский и автор Жития Кесария). Аскетическая община клириков не была новым явлением в Арелате: подобную общину организовал Иларий Арелатский, который раньше также был леринским монахом. Одним из главных дел жизни Кесария было устроение в Арелате женского монастыря со строгим общежительным уставом. В этом монастыре Кесарий планировал поселить аскетическую общину во главе со своей сестрой – Кесарией Старшей. Поэтому раньше Кесарий послал сестру в монастырь Христа Спасителя в Массилии, основанный Иоанном Кассианом, чтобы она могла научиться там монашеской жизни и в дальнейшем руководить сёстрами. В основании Кесарием женского монастыря исследователи усматривают сознательное подражание Августину Блаженному. Около 506 г., спустя несколько месяцев после возвращения из ссылки в Бурдигалу и, как полагают исследователи, после Собора в Агате, Кесарий приступил к строительству монастыря в окрестностях Арелата, предположительно возле одной из главных святынь города – могилы мученика Генесия.