唐朝貞觀年間，佛法盛行，上至皇帝，下至平民，人人都好佛法。右將軍江蘇馬跡山人杭惲就是一個虔誠相信佛法的官員，與玄奘法師相交甚好。玄奘法師西行取經期間，杭惲也告老還鄉，在家修行。後來，玄奘取經回來，開始在國內各地弘揚佛法。在來到蘇州靈岩山時，順便來看老友杭惲。
一天，杭惲陪同玄奘時，看見法師有些憂愁，就問何故。玄奘告訴他，是因為看到當地沒有一座寺院而所以嘆氣。一心向佛的杭惲慨然允諾，自己可以出資建一座寺廟，但要由玄奘選定廟址並親自傳法。玄奘非常高興，於是二人開始選址。當行至秦履峰東南側時，玄奘對杭惲說："此地地形十分神奇，很像貧僧前往天竺取經時所見的佛祖講經的靈鷲峰，不過比那聖山小，我看就叫小靈山吧。"杭惲遂在小靈山上建造了第一座寺院，當時名為"靈山庵"或"小靈山寺"。寺院建成後，玄奘如約前來講法。
據說當時的小靈山寺"居重湖疊嶂間，最為幽絕"。寺院與太湖相臨，"波光雲景，照耀晃漾"；寺後"三峰環列，龍、虎拱峙"。殿前"塔影崔嵬落半天"，"若天窩，若月窟，若萬松居，皆散見僧舍。寶殿玉宇、青松翠竹、鐘鼓迴響，好像梵天佛地，靈山勝境。
唐玄宗時期，天臺宗九祖湛然荊溪大師曾來到小靈山寺講法，德宗時期大師圓寂。五代十國時期，吳越錢鏐追贈其為圓通尊者。北宋大中祥符年間，真宗趙恆詔改小靈山寺為"祥符禪院"，徽宗時期，升"院"為"寺"，自此，始定名為"祥符禪寺"。宋代和元朝時期，寺院的香火一直都很旺盛。元朝末年，寺塔俱毀。
明朝建立後，在洪武初年，高僧釋行暉在此重建寺宇。此後，又經天竺僧智瀾、其徒道梁、天霖，道梁的高足德乘等的不斷修建，到萬曆初年，祥符禪寺已經基本修復，新建的天王殿、大雄寶殿中的"塑像莊嚴，金碧輝煌"。萬曆年間，太倉懷雲寺僧順庵禪師，應邀住持小靈山，經過三年將佛塔重新建起。
明朝末年，祥符禪寺再次遭到戰火的破壞。清朝康熙年間，康熙在南巡期間，在金山召見了當時的祥符禪寺住持紀蔭時，並御筆親書"神駿地"的匾額，祥符禪寺更名為"神駿地寺"，再次聲傳遐邇。根據史料記載，在釋紀蔭住持期間，修復或新建了山門、天王殿、伽藍殿、祖師殿、藏經殿、禪堂、法堂、茶寮、兩序寮、無隱軒、與鷗居、金粟廊、雙松草堂等。乾隆年間的方丈普仁再次進行了修葺。咸豐三年，太平軍與清兵交戰於此，殃及佛寺，殿宇毀壞殆盡。
民國三年（1914年），寺院被重新修建，復名為"祥符禪寺"。1938年，被日軍放火焚燒，寺院殘破。文革中，這座千年歷史古剎佛像倒地，殿宇被佔，僧人被驅逐。文革後，信眾再次重修寺院，並在1997年在小靈山上建成高八十八米的青銅立佛，人稱"靈山大佛"，大佛形體雄偉，儀態安祥，面如滿月，慈眉慧目，開顏微笑，右手"施無畏印"，左手"與願印"，與山西雲崗大佛、洛陽龍門大佛、四川樂山大佛、香港天壇大佛遙相呼應。
如今的祥符禪寺有山門、天王殿、鐘鼓樓、伽藍殿、祖師殿、觀音殿、地藏殿、大雄寶殿等建築，大殿兩側各有兩幢南北對稱的兩層樓房，法堂、禪房、客堂、方丈室、僧舍等分設其中。從山門，進天王殿，入大雄寶殿，來到後院門，登上218級台階，可以到達大佛座前的大平臺。
