Постройка была окончена только при аббате Майоле (храм освящён в 981 г.). К. Дж. Конант считал, что столь длительный срок возведения храма объясняется инженерными трудностями, но, по данным раскопок начала XXI в., храм неоднократно перестраивался (по мнению исследователей, изменения в проект здания вносились в ходе работ). Клюни II – трёхнефный храм (длина 47,6 м) с выступающим трансептом и трёхапсидной алтарной частью; под центральной апсидой была устроена трёхапсидная крипта, своды которой опирались на два столба. По сторонам алтарной части храма находились помещения, предназначенные, как полагают исследователи, для погребения, а на краях рукавов трансепта – ещё две небольшие апсиды. Формы трёхнефного хора со сводчатым перекрытием имеют аналоги в памятниках конца X – начала XI вв. (монастырские церкви в Деоле, Верне, Перреси-ле-Форж). По мнению К. Дж. Конанта, план алтарной части Клюни II был задуман и реализован при аббате Майоле, однако храм мог перестраиваться при его преемнике Одилоне. Центральный неф Клюни II был существенно выше боковых и, скорее всего, как полагают исследователи, имел цилиндрический свод с небольшими окнами у основания (самый ранний пример сводчатой церкви с верхним освещением). Над средокрестием возвышалась прямоугольная в плане башня, похожая на башню (высота 35 м) церкви Сен-Мартен в Шапезе близ Клюни (первая половина XI в.). К западной части храма примыкал просторный, по мнению исследователей, двухэтажный нартекс («Галилея»), предположительно фланкированный двумя башнями (в настоящее время считается, что нартекс был возведён при аббате Одилоне). Исследователи отмечают, что архитектура Клюни II, продемонстрировавшая новые конструктивные решения, оказала существенное влияние на зодчество монастырских и коллегиальных церквей в Европе (церкви св. Бенигна (Сен-Бенинь) в Дижоне, Сен-Ворль в Шатийон-сюр-Сен, св. Гертруды в Нивеле, св. Ремигия (Сен-Реми) в Реймсе, Сен-Мартен-дю-Канигу). К монастырской церкви примыкал клуатр, вокруг которого располагались зал капитула, рефекторий (трапезная), больница и другие здания; в описаниях Клюни упоминаются также купальня, дом новициев, мастерские, гостиницы. Сооружение большинства этих зданий приписывается аббату Одилону: согласно Житию Одилона, составленному монахом Йотсальдом, по указанию аббата из Прованса были доставлены римские колонны. По мнению исследователей, к этому времени относится нижний ярус так называемой Сырной башни, позднее включённой в систему монастырских укреплений. Зал капитула был соединён переходом с однонефной церковью Девы Марии, построенной на месте более ранней капеллы и освящённой, скорее всего, как полагают исследователи, в 1085 г. По данным раскопок, церковь имела трёхапсидный хор и башню над предалтарным пространством (аналог – церковь клюнийского приората Сент-Ипполит-де-Бонне). На монастырском кладбище к востоку от главного храма (Клюни II) находилась центрическая капелла-триконх (в «Consuetudines» монаха Бернарда (вторая половина XI в.) она именуется «ecclesia de Sancto Sepulchro», впоследствии Нотр-Дам-дю-Симетьер); кладбищенские капеллы Девы Марии, связанные переходами с больницей и залом капитула, существовали также в клюнийских монастырях Ла-Шарите-сюр-Луар, Сувиньи, Шарльё и др.