Все ныне известные фрагменты стен и башен Вавилона исследователи относят к периоду правления римского императора Диоклетиана (рубеж III и IV вв.), который посетил Египет и построил здесь несколько крепостей. Квадратная в плане крепость Вавилон была рассчитана на размещение пятитысячного легиона. Её внутреннее пространство разделялось улицами, они, по гипподамовой системе, пересекались под прямыми углами и образовывали инсулы (квадратные кварталы). В крепости были не только военные сооружения (башни, фортификации, рвы, хранилища амуниции), но и жилые, а также бараки, лазареты, конюшни, цистерны, склады, святилища. Жизнь в крепости неоднократно возобновлялась при позднеримских и византийских императорах Константине I Великом (IV в.), Аркадии (рубеж IV и V вв.), Ираклии (VII в.). Те, кому принадлежала крепость, контролировали переправу через Нил, русло которого в то время проходило значительно восточнее современного, прямо под стенами Вавилона. Берега реки у Вавилона соединял наплавной мост. До арабского завоевания VII в. Вавилон оставался главным военным оплотом римлян и византийцев в Египте. Его внутреннее пространство постепенно трансформировалось из военного в городское. Плотность заселения не позволяла оставлять открытые площади или форумы. Скромные фасады христианских храмов, возникших здесь в IV–V вв., выделялись среди жилых построек. В современном Старом Каире сохранились остатки римского бастиона южной стены крепости, на который опирается храм Богородицы (Эль-Муаллака). Бастион частично достроен христианскими зодчими, которые старались укрепить фундамент храма. Мраморные части римского сооружения (колонны) использованы в интерьере церкви. В бастионе сохранился входной атриум со следами ниш, предназначавшихся, по мнению исследователей, для статуй богов и императоров. Остатки западной стены крепости и двух круглых башен видны у греческой церкви-ротонды св. Георгия, которая также опирается на одну из башен, и у входа в Коптский музей. Все римские сооружения были выполнены в «смешанной» технике (opus mixtum), чередованием рядов кладки отполированного белого камня и красного кирпича. Толщина стен достигала 3 м; диаметр башен составлял около 31 м, высота – 10 м. В первой половине V в. Вавилон стал центром епархии Александрийской православной церкви. Епископ Вавилона Кир упоминается среди участников Эфесского собора 449 г. В «Луге духовном» Иоанна Мосха упоминается преподобный Зосим, который был епископом Вавилона во второй половине VI в. Арабское завоевание Египта (639–642 гг.) в значительной степени свелось к борьбе за контроль над Вавилоном. В июле 640 г. на подступах к Вавилону арабы во главе с Амром ибн аль-Асом нанесли поражение византийской армии, после чего осадили крепость. Не имея осадной техники, арабское войско простояло под стенами города с сентября 640 г. до апреля 641 г. Сдача Вавилона была предопределена моральными, а не военными факторами: у осаждённых кончились припасы, началась эпидемия, а помощи извне ждать не приходилось. Гарнизон оговорил право беспрепятственного отступления. Амр ибн аль-Ас с триумфом въехал в крепость. Военные действия переместились в район Александрии, которая сдалась арабам в сентябре 642 г.