Музей расположен в пяти основных зданиях на Дворцовой набережной, связанных между собой и составляющих единый музейный комплекс. Одним из зданий Эрмитажа является Зимний дворец, в прошлом являвшийся главным императорским дворцом, нынешнее здание которого было построено в 1754-1762 годах.
Также в состав комплекса входит Малый Эрмитаж (Северный и Южный павильоны и Висячий сад), Большой Эрмитаж (также именуемый Старым Эрмитажем), Новый Эрмитаж и Эрмитажный театр, возведённый над частично сохранившимся Зимним дворцом Петра I.
Помимо названых объектов к комплексу также относятся Запасной дом Зимнего дворца и Эрмитажный гараж. Первый представляет собой особняк конца 19 века, второй — здание действующего гаража, построенного в 1911 году для императора Николая II.