原建于唐開元年間,唐會昌五年(845)建立樓閣,五代重修,名“瑞像寺”、大中祥符元年(1008)賜名為“寶相寺”、至明永樂九年(1411)重建佛閣三層五楹,取名“毗盧閣”,萬歷廿九年(1601)建無梁橋,現(xiàn)在的五層五楹為光緒十九年(1893)重建。
大殿1981年大修,增塑文殊、普賢,重塑十八羅漢,主體建筑改為五層七楹,依崖而建,歇山頂,飛檐翹角,逐層退進成塔形,外觀雄偉壯麗而又精巧穩(wěn)重。
“逍遙樓”匾額為唐顏真卿手書;“大雄寶殿”為清俞樾書,殿內楹聯(lián)“理哲家言同源西圣、華嚴法界現(xiàn)象南明”為蔡元培書。