В 1972 году Министерством культуры было принято решение об открытии в городе Набережные Челны Центральной городской библиотеки. В течение трёх лет сотрудники Республиканской научной библиотеки Татарстана имени В.И. Ленина вели напряжённую работу по созданию книжного фонда и организации каталогов. Основной базой пополнения фонда стала Государственная Российская юношеская библиотека. Десять тысяч томов подарила библиотеке редакция журнала «Новый мир», часть книг передали Государственная публичная библиотека имени М.Е. Салтыкова-Щедрина, Государственная библиотека СССР имени В.И. Ленина, ВГБИЛ и многие другие библиотеки. Книги для строителей КамАЗа везли машинами и поездами, доставляли самолётами со всех концов страны.
В 1975 году в торжественной обстановке в присутствии многочисленных приглашённых гостей, писателей, представителей трудовых коллективов состоялось открытие библиотеки, и она приняла первых читателей. Для библиотеки был переоборудован первый этаж жилого дома. К моменту открытия книжный фонд библиотеки вырос до 54 000 экземпляров.
Библиотеке было присвоено имя татарского поэта-героя Мусы Джалиля.
Долгое время городская библиотека располагалась в приспособленном помещении по адресу ул. Есенина, д.4 и только в 2012 г. переехала в специально спроектированное для библиотеки здание по бульвару Ямашева, дом 4/14А. Здесь для обслуживания читателей имеются просторные светлые читальные залы, залы обслуживания, вместительный конференц-зал для проведения мероприятий.