Дворец заложен в 1717 году под руководством немецкого архитектора Иоганна Фридриха Браунштейна как летняя резиденция Екатерины I. По первому проекту дворец представлял собой небольшое двухэтажное сооружение в голландском стиле «на 16 светлиц». В 1743 году императрица Елизавета Петровна поручила русским архитекторам Михаилу Земцову и Андрею Васильевичу Квасову расширить и благоустроить дворец. Одновременно с Квасовым был приглашён Савва Чевакинский, который осуществил расширение дворца до современной длины.
В мае 1752 года Елизавета Петровна поручила архитектору Бартоломео Франческо Растрелли вновь перестроить дворец. После строительных работ, которые длились 4 года, появился современный дворец в стиле русского барокко.
Дворец сильно пострадал во время Великой Отечественной войны. В 1947 году началось начало реставрационных работ.