南峰山有“安洲第一山”这美誉。山腰起屋宇毗连，错落有致地分布着建于北宋庆历五年（1045）的“兴道禅院”和宋、元、明、清各朝修建的蓝光轩、古灵祠、翠微阁、冲庵、碧山西房、涵清亭等建筑。宋代山上设有“鉴玉堂书院”。进士蒋应雷在濒临永发溪的北麓山坡凿挖山洞，称桃花洞，为书院学子们吟诗作文的场所。洞内石崖上留有文人题字石刻多处。站立洞前，鸟瞰大溪，“千树桃花映碧川，轻舟白帆若浮云。”过往行船，白帆点点，轻若浮云，故云“南峰眺艇”。因明崇祯间县令鸣盛曾驾舟于此垂钓，又称“南峰钓艇”。山顶平旷处建有七级浮屠，即南峰塔。
