Возведение мечети в городе на Неве исторически обосновано: в строительстве Санкт-Петербурга участвовало немало работных людей исламской веры. Татарское поселение появилось в городе с момента его основания. К концу 18 столетия в Петербурге образовались еще три мусульманские общины. Постепенно назревала потребность в создании для них молитвенного сооружения.
В 1881 году представители петербургских мусульманских общин подали прошение о возведении мечети. В Министерстве внутренних дел одобрили начинание, но официальное разрешение было выдано через 25 лет.
Все это время верующие собирали средства на будущий храм. В 1906 году начал свою работу строительный Комитет. Был проведен конкурс проектов и приобретен земельный участок вблизи Петропавловской крепости. Императорский указ 1908 года утвердил проект архитектора Николая Васильевича Васильева.
16 февраля 1910 года прошла официальная церемония закладки храма. К 1913 году сооружение было готово в черновом варианте, без отделки. 21 февраля при большом собрании прошло первое богослужение. Финишные работы закончились в апреле 1920 года. Купольное здание с двумя высокими угловыми минаретами предстало перед горожанами во всей своей красе.
История мечети созвучна судьбе большинства петербургских соборов. В 1940 году храм закрыли. В пятничные и праздничные дни верующие возносили молитву на мусульманской стороне Ново-Волковского кладбища, а красивое культовое здание служило медицинским складом и постепенно ветшало.
Неоднократные прошения татарской общественности о возвращении мечети верующим были в 1955 году удовлетворены, и в соборе возобновились богослужения. В 1968 году культовое здание получило статус охраняемого государством памятника архитектуры.