凉帽山位于县城西郊，形状就像一顶凉帽。有民间传说，明代万历年间，潼川府府台朱大人巡视射洪，时值三伏炎天，朱大人上山游览，因走得热了，取下头上的凉帽歇息，离开时却将凉帽忘了带走。朱大人为官清正，颇受百姓敬仰，众人便将他遗忘的凉帽长期供奉于山庙之中，加之山的形状像凉帽，此山便由此得名凉帽山。因凉帽山距老鸦山、广寒寺、南泉寺等处不远，有人就编了一首诗，描述其景，诗云：“凉帽钟声惊洞天，老鸦展翅盖南泉，八百罗汉朝大佛，白衣道人拜广寒。”

诗中的“广寒”即广寒寺，据清代的《射洪县志》记载，广寒寺始建于唐代天授元年，当时是建在太和镇西郊的一处山坡上，与凉帽山麓有一溪之隔。明代成化年间扩建，为六幢殿宇。清道光年间又有培修，使之成为太和镇佛教活动中心。清末，曾办起有名的广寒书院，为射洪四大书院之一。1987年，这里被批准为县级文物保护单位。
因广寒寺原址早在上世纪50年代就已改建为粮油仓库，后来又在上面修建了职工宿舍，为了防止火灾及便于管理，经市、县文化主管部门和县人民政府批准同意，于1995年将广寒市仅存的主要殿宇迁建到凉帽山上。此殿为抬梁式框架，檐下施斗供24朵，四柱彩画，上盖筒瓦，十分庄严雄伟。
迁建之后，山上管护人员多方筹集资金，除大雄宝殿外，又扩建了山门、弥勒殿、药师堂、观音阁、僧院、客堂等。为了便于游人上山，还修建了上山的石梯道。现在，游人从山脚沿石梯道拾级而上可直达山门，进山门塑有哼哈二将，往上走几梯可见到满脸带笑的弥勒佛。再往上就是大雄宝殿，殿内正中坐卧三尊大佛，两边排列十八罗汉。再往上是观音殿、玉皇殿和四大天王殿等。各殿内所塑佛像皆金装彩绘，造型优美，表情各异。近年又修有一条水泥大道经悠然山山庄直达山顶，山顶临县城一边建有一尊露天观音像，高达10多米，十分壮观，令香客和游人赞叹。