唐朝贞观年间，佛法盛行，上至皇帝，下至平民，人人都好佛法。右将军江苏马迹山人杭恽就是一个虔诚相信佛法的官员，与玄奘法师相交甚好。玄奘法师西行取经期间，杭恽也告老还乡，在家修行。后来，玄奘取经回来，开始在国内各地弘扬佛法。在来到苏州灵岩山时，顺便来看老友杭恽。
一天，杭恽陪同玄奘时，看见法师有些忧愁，就问何故。玄奘告诉他，是因为看到当地没有一座寺院而所以叹气。一心向佛的杭恽慨然允诺，自己可以出资建一座寺庙，但要由玄奘选定庙址并亲自传法。玄奘非常高兴，于是二人开始选址。当行至秦履峰东南侧时，玄奘对杭恽说："此地地形十分神奇，很像贫僧前往天竺取经时所见的佛祖讲经的灵鹫峰，不过比那圣山小，我看就叫小灵山吧。"杭恽遂在小灵山上建造了第一座寺院，当时名为"灵山庵"或"小灵山寺"。寺院建成后，玄奘如约前来讲法。
据说当时的小灵山寺"居重湖叠嶂间，最为幽绝"。寺院与太湖相临，"波光云景，照耀晃漾"；寺后"三峰环列，龙、虎拱峙"。殿前"塔影崔嵬落半天"，"若天窝，若月窟，若万松居，皆散见僧舍。宝殿玉宇、青松翠竹、钟鼓回响，好像梵天佛地，灵山胜境。
唐玄宗时期，天台宗九祖湛然荆溪大师曾来到小灵山寺讲法，德宗时期大师圆寂。五代十国时期，吴越钱镠追赠其为圆通尊者。北宋大中祥符年间，真宗赵恒诏改小灵山寺为"祥符禅院"，徽宗时期，升"院"为"寺"，自此，始定名为"祥符禅寺"。宋代和元朝时期，寺院的香火一直都很旺盛。元朝末年，寺塔俱毁。
明朝建立后，在洪武初年，高僧释行晖在此重建寺宇。此后，又经天竺僧智澜、其徒道梁、天霖，道梁的高足德乘等的不断修建，到万历初年，祥符禅寺已经基本修复，新建的天王殿、大雄宝殿中的"塑像庄严，金碧辉煌"。万历年间，太仓怀云寺僧顺庵禅师，应邀住持小灵山，经过三年将佛塔重新建起。
明朝末年，祥符禅寺再次遭到战火的破坏。清朝康熙年间，康熙在南巡期间，在金山召见了当时的祥符禅寺住持纪荫时，并御笔亲书"神骏地"的匾额，祥符禅寺更名为"神骏地寺"，再次声传遐迩。根据史料记载，在释纪荫住持期间，修复或新建了山门、天王殿、伽蓝殿、祖师殿、藏经殿、禅堂、法堂、茶寮、两序寮、无隐轩、与鸥居、金粟廊、双松草堂等。乾隆年间的方丈普仁再次进行了修葺。咸丰三年，太平军与清兵交战于此，殃及佛寺，殿宇毁坏殆尽。
民国三年（1914年），寺院被重新修建，复名为"祥符禅寺"。1938年，被日军放火焚烧，寺院残破。文革中，这座千年历史古刹佛像倒地，殿宇被占，僧人被驱逐。文革后，信众再次重修寺院，并在1997年在小灵山上建成高八十八米的青铜立佛，人称"灵山大佛"，大佛形体雄伟，仪态安祥，面如满月，慈眉慧目，开颜微笑，右手"施无畏印"，左手"与愿印"，与山西云岗大佛、洛阳龙门大佛、四川乐山大佛、香港天坛大佛遥相呼应。
如今的祥符禅寺有山门、天王殿、钟鼓楼、伽蓝殿、祖师殿、观音殿、地藏殿、大雄宝殿等建筑，大殿两侧各有两幢南北对称的两层楼房，法堂、禅房、客堂、方丈室、僧舍等分设其中。从山门，进天王殿，入大雄宝殿，来到后院门，登上218级台阶，可以到达大佛座前的大平台。
