Ректорский дом был построен предположительно в конце 18 века и принадлежал коменданту Казани генерал-майору Кастеллию. Примерно в 1810 году дом был приобретен университетом, позже, когда создавался единый фасад университетских зданий по линии Кремлевской улицы , дом был перестроен. С момента перестройки дома примерно с 1824 года здание сохранилось до наших дней почти без изменений.
Своё название «Ректорский дом» здание получило не случайно. По традиции на втором этаже дома располагалась квартира ректора.
В этом доме жил великий русский ученый Николай Иванович Лобачевский – ректор Казанского университета с 1827 по 1846 год.