到了唐宣宗大中十四年，天下大乱。时任门主柳希言眼看饿殍遍野，决议改宗佛门禅宗，要改观为寺。
此举自然遭到全门长老反对，但当时的柳门有不少受佛教影响的，加上门主令下，终于开山门，接纳诸多僧人和难民。
结果事与愿违，难民涌入后争抢粮食，乱贼混在人群里跟着杀进来，此地很快遭到劫难，财宝、粮食被一抢而空，弟子们无处可退，纷纷含恨逃走。
在此之后柳门黯灭，流民成灾，柳希言这才发现自己的慈悲心害了全门，更是对不起雪英师祖，到了北高峰向北扣石而死，而柳门子嗣也流离四方。
那之后抱朴观也成了一片废墟，时不时有流浪者依据断壁残垣落脚，但时常遇到怨灵恶鬼纠缠，来到此地者多有惊怖而死，时间长了就成了鬼地。
这一荒废就是千年。
到了光绪二十四年，五十九岁的德清禅师从宁波七塔寺往宜兴铜棺山时路过此地，听当地人讲述柳门传说，见此山冥冥之中仍有冤魂未散，风中似有箭飞如雨，杀声震天。德清禅师看到这种情景，心想不能让此恶缘继续下去，于是依水结茅，做了七七四十九天法事。四十九天后谷内瘴气顿消，空气如雨后天晴，树林茂密葱郁，竹林破土而出，飞鸟盘旋。众人皆叹老禅师身形清瘦，却法力高强，纷纷拜服。
这时老禅师又听到天音谕示，此地与柳姓结缘。便向众人晓谕，暂且封存此地，彼时交还给一名姓柳的灵童即可。