该庙原在县城以南50华里的稷王山上，是相传的后稷教民稼穑之地。旧时，每年夏历四月十七日，四方人士必聚此举行隆重祭典。明隆庆元年(公元1567年)迁至今地。 

　　现在的庙宇为清代遗物，主体建筑有献殿、正殿，钟、鼓二楼左右分峙。庙以木、石雕刻见称，其中的廊柱、栏板装饰以及山水人物、耕耘碾打等农事活动图景艺术尤精。