智顗十八歲時出家，後在浮山修行。一日，智顗夢見一處巖崖萬重、雲日半垂，滄海無邊之地；在山上，一個僧人向他招手，還挽著自己上山。智顗將夢中所見告訴了弟子，弟子說，這是會稽的天台山。於是智顗決定帶弟子去天台山修煉，並由此創建了天台宗。後隋煬帝賜智顗為智者大師。

隋唐之後，皆奉浮山為「佛教祖庭」。 北宋，佛教曹洞第七代祖師圓鑒大師在此修行，世稱「遠祿公」。宋仁宗賜號遠祿圓鑒大師，又賜建寺，名為「大華嚴寺」。明代，山中佛教大興，寺庵林立，僧尼數以千計。清桐城學者方以智，晚年居於浮山出家修行，自號浮山愚者，卒後葬於浮山東麓。

如今的浮山還留有許多仙跡或聖跡。比如妙高、如來、文殊、玉女、丹霞、飛來等36峰，雙蛙、猴頭、天鵝、爛河等28怪石，金谷、選佛、滴珠、首楞、隱賢、摘星、張公、穿心、仙隱、招隱、普陀、會聖等36巖，定心、九曲、寶藏、連理、煉丹等72奇洞。從上述一些頗具佛家或道家氣息的稱謂中，我們可以感覺到其中曾經蘊涵的神奇故事。其中的飛來峰，緊依妙高峰，絕壁懸巖，如斧劈刀削。在石壁之上，有一奇石好像古人峨冠架在危石上，有騰空飛去之勢，故石名「飛來石」，峰名「飛來峰」。而位於石龍峰左的雷公洞是因為修者雷鯉而得名。會聖巖是圓鑒大師圓寂之處。

此外，浮山上還有遠祿祖師塔、古庭禪師衣缽塔、眾僧藏骨的三寶塔等。在距浮山10公里的白雲巖，上有四峰頂立，怪石嶙峋，因曾有白雲禪師在此修行，故得名。浮山20公里的青山石屋寺，相傳為晉代高僧清供所建。

清代文人施爾萃曾作《游浮山》一詩，詩曰：

獨愛浮山好，
幽懷幾度來。
空靈觀不厭，
一洞一蓬萊。

──轉自《正見網》(