依据梁上题迹及碑文记载，金天得三年(1151年)重建，元、明、清均有修葺。现存五岳殿、水仙殿为元代建筑，余皆清代所建。
庙坐北朝南，四合院布局，总占地面积7200平方米。
五岳殿为庙内主体建筑，单檐悬山顶，面阔进深各三间。由于平柱外移使明间扩大，次间缩小。明间置板门，次间置直棂窗。前檐斗栱五铺作单抄单下昂。梁架为彻上露明造，皆用草袱作法，为原木稍加修饰而成。梁上有：“时大元大德拾年岁次丙午十月巳亥二十二日己未庚午时重建志” 题迹。
水仙殿位于五岳殿东侧，面阔三间，进深三间，单檐悬山顶。斗栱五铺作单抄单下昂，明间补间出45度斜昂。梁架亦为彻上露明造，草袱。殿内须弥座砖雕，保存基本完好，束腰部雕历史故事、花草人物、窗格图案等，刀法传神。梁枋题记：“ 大元大德四岁次庚子三月壬申朔初十曰辛巳甲午时创建”。
两殿内均保存有精美的壁画，五岳殿壁画分绘于殿内三面墙和门额、栱眼壁等，计40平方米。水仙殿壁画内容反映水仙出行、回归图。
重修五岳大庙碑志
此庙创始莫考肇自何年，求之梁上壁间，得元初大德三年重修，四年建水仙殿七间。七年地震，十年再修。圣母殿建自元，而年月无考，总无碑志。盖古人建此，不过为春秋报享，邨事公议之所，未敢以为功德而志盛，忠厚之至也。明嘉靖六年重修，国初顺治十五年重修，至雍正八年重修，始有碑志。九年新建献亭舍窑，山门有碑。龙王殿建自乾隆九年，迄今几近百年，庙貌倾圯，不为修补前功尽弃。欲为更新所费甚大，不得已卖庙内栢树三株，得价银千有馀金，又募得千有馀金。于是水仙殿扶正，圣母殿抽梁换柱，献亭换柱加髙，亭前建钟鼓二楼。乐楼加高，易台口大柱。又新建舍窑三眼，马房二间，围墙土易以砖。院内佛殿，金粧佛像，新粧罗汉，加以佛龕。院内建穿廊转扇，院外西旁建草房三间，南边建小门一座。庙后建小门，门外建掩壁。土坡以砖砌之，边傍奏之以砖，一切彩画共费，贰千肆百馀金。嘉庆十九年起工，道光元年告峻。予于是略序其本末，以备后人有所考核云尔。
汾阳县儒学生员乡饮介宾照临王昱顿首拜撰
汾阳县儒学生员褒举优生体仁王元士沐手敬书
经理人：介宾王昱 薛文焕 张德美 重九徐鋙 重九徐鈊 王绍昌 监生徐锬 蔚州左堂王景 靳林张炳直 靳汉亮 徐镐 优生王元士 靳兰 张炳时 张泰来 薛三千 李文喜 薛文举 张世怀 薛三让 王吉士 闫孟德 王天申 王绍明 孙万几 张世亮 李存万 张泰智 徐世珍 暇荣福 李存宏 孙凤标 薛尔礼 暇荣祥
住持临济正宗本贞
大清道光元年岁次辛巳九月上浣榖旦
