西林禪院原名“上山庵”,始建于唐末,興于宋時。在宋時,有師僧百眾,香火鼎盛,誦佛聲聲。清朝咸豐年間,遭兵燹毀成平地。新中國成立之前,這里僅余僧房10余間,僧人2位,僧田40幾畝,石碾礱坊2處。相傳,乾隆皇帝下江南在此小憩。登“白云樓”、游“紫竹苑”、讀百子書、品“云霧茶”。興致有余,遂御筆欽賜“西林禪院”。