清凉寺乃隋唐古刹，见于记载者云：始建於隋開皇元年（西元五八一年），距今已有一千四百年的歷史，曾名真寂寺、崇福寺、化度寺等，金大定二年（西元一一六二年）法演法師擴建，敕封為清涼寺。

　　一九四四年，長安縣對土地村莊進行測繪，档案记载，清涼寺原有土地八十餘畝，其中建築面積十五畝，分南北兩院。南院有僧房三間及大雄寶殿，殿內有彌勒玉佛一尊，隋代風格，造型精美，現保存於西安碑林博物館。寺内现存民國甲戌年住持僧智朗建立的「古清涼寺」石碑一通。

　　解放後，長安縣法院搬遷至清涼寺南院辦公，一九六三年縣黨校、上塔坡小學分別設在此處，一九七一年小學遷校改建。一九九七年九月，長安縣政府下發了《關於為恢復清涼寺劃撥國有土地使用權的批復》，同年十二月清涼寺獲得十六．五六七畝土地的使用證，一九九八年和二○○一年兩次建成僧房二十間，灶房三間，飲水井一眼。

　　清涼寺因國民黨主席連戰的祖母葬於此重新受到世人矚目，二○○五年五月一日，連戰來到清凉山為祖母上墳。據周圍村上的老人說，解放前，連戰祖母住在清涼山北的東姜村，經常來寺裡燒香，也經常住在清涼寺幫助僧人燒飯，心地善良，人緣好，和居士們相處十分和諧。連戰祖母病故前遺言，去世後希望埋在寺院旁。因此去世後就葬在清涼寺的隔壁。