Положения первого устава определили основы деятельности нового музея и впоследствии сохранились с некоторыми коррективами. Здание музея построено в 1875–1883 гг. в северной части Красной площади, на месте старого здания присутственных мест (раньше здесь находились Аптекарский дом и в 1755–1793 гг. основанный Михаилом Васильевичем Ломоносовым Московский университет). Согласно архитектурному проекту, представленному Владимиром Осиповичем (Иосифовичем) Шервудом и инженером Анатолием Александровичем Семёновым (1841–1917 гг.), здание Исторического музея, возведённое в русском стиле, главным подъездом обращено на Красную площадь и включало подвальный этаж, два цокольных этажа, два этажа экспозиционных залов, большой зал библиотеки (над главными сенями) и аудиторию на 500 слушателей (над средней частью музея). 20 августа 1875 г. состоялась церемония, во время которой император Александр II собственноручно заложил кирпич в фундамент здания. Первоначально строительство шло с большим трудом как из-за разногласий между членами управления музеем, так и из-за нехватки финансов. 29 мая 1881 г. последовало высочайшее повеление «принять здание музея в казну», в ведение Министерства финансов. Для окончания строительства была образована комиссия, которую возглавил А.С. Уваров, пригласивший к сотрудничеству И.Е. Забелина, Василия Егоровича Румянцева, Ивана Даниловича Мансветова, археолога Дмитрия Николаевича Анучина и др. 10 декабря 1882 г. на основании высочайшего повеления музей был переведён в ведение Министерства народного просвещения. Музей предполагалось открыть к коронационным торжествам 1883 г. 22 августа 1881 г. Строительная комиссия заключила договор с А.А. Семёновым и архитектором Александром Петровичем Поповым на продолжение строительства и составление проектов внутренней отделки здания. По замыслу А.С. Уварова, каждый зал музея должен был иметь оформление в стиле той эпохи, памятники которой будут в нём представлены, музейные залы должны стать «наглядной и художественной летописью архитектурных и художественных вкусов во всё время исторической жизни русского народа». Глубокие знания А.С. Уварова позволили ему верно выбрать те «вехи», которые наиболее полно характеризовали бы тот или иной исторический период. Для залов, где представлены экспонаты «доисторической» эпохи, основные мотивы орнамента брали с конкретных археологических предметов: в залах так называемого каменного века широкий лепной карниз и мозаика повторяют орнаменты гончарных изделий неолитической стоянки близ деревни Волосово на Оке; в декоративном решении залов бронзы и железа использованы орнаменты бронзовых топоров, кинжалов и украшений, найденных у села Кобан в Осетии; в Скифском зале был воспроизведён ступенчатый свод склепа из царского кургана Куль-Оба в Крыму, и помещены композиция «Укрощение коня» со знаменитой вазы Чертомлыкского кургана и копии росписей керченского склепа Анфестерия Гегесиппова и склепа на склоне горы Митридат. Византийский зал являет собой уменьшенную копию центральной части храма Святой Софии в Константинополе, мозаика пола воспроизводит мозаику из катакомбы св. Елены в Риме.