С другой стороны площади, на берегу Большого оврага, полукругом стоят три одноэтажных Кавалерских корпуса. Это название появилось только в XX веке, а в своих чертежах Баженов называл здание «малыми домиками» и не упоминал, для чего они предназначались. Вероятнее всего, в них должны были жить кавалеры — придворные.
Первый Кавалерский корпус имеет Г-образную форму, внутри него находятся три комнаты: центральная угловая и две примыкающие боковые.
В 1870-х годах его снимали под дачу состоятельные чиновники и купцы. После революции здесь располагались Дом советов, детский дом и музыкальная школа. А с 1995 года в здании размещается администрация музея.