Мечеть построена в 1766—1770 годах на средства прихожан по личному разрешению Екатерины II, полученному во время её приезда в Казань. Это была первая каменная мечеть, построенная в Казани после её взятия Иваном Грозным в 1552 году. Мечеть названа по имени имама Шигабутдина Марджани, служившего в ней в 1850—1889 годах. Долгое время называлась Юнусовской) по династии купцов Юнусовых, живших в махалле и тративших деньги на содержание мечети. До этого называлась Эфенди.
В советское время была единственной действующей мечетью в Казани. Мечеть и её территория неоднократно реставрировались и благоустраивались.