汉代，汉武帝在华山脚下创建了祭祀西岳神的第一座庙宇――集灵宫。后迁到靠近长安通往洛阳大路的今址。唐书《地理志》说迁于公元前134年――前132年（汉武帝元光初年）；也有人说它迁建于202年（三国魏文帝黄初元年），还有的说它迁于454年（北魏文成帝兴光年间）。
由于五胡乱华，西岳庙遭到重创，北魏时重新进行了修建，但并非新建的。
开元十二年（724年）冬，唐玄宗李隆基召令全国，封华山神为“金天王”，西岳庙改称为“金天王神祠”。
北宋建隆二年（961年），宋太祖赵匡胤对西岳庙进行了一次大规模的修建，在唐代旧基的基础上进行了大规模扩建。从此每年祭祀遂成定制。
元世祖至元二年（1265年），规定每年祭祀华山的制度，并于至元二十八年（1291年）春正月加封西岳神为“西岳金天大利顺圣帝”。
明太祖朱元璋时期，取消了西岳神的帝号――被唐、宋、元诸朝皇帝所加的封号。当时是视华山神为万能之神的。
明宪宗成化十八年（1482年），进行修建，此次修建从成化乙亥秋开始，至壬寅夏工程结束，历时竟达到二十八年。
嘉靖二十年（1541年）前后，对倾颓的西岳庙又进行了“葺故重新，起圯植倾”的修葺。修建后的西岳庙“有正殿五楹，殿后寝室各二楹，前为棂星门，七座头门，五座国朝碑楼，东西旱船各二座，外为楼楹，连以角楼，凡间二百有奇”，增加了玉垒神荼殿两座――即今灵宫殿玉冥王殿，七座头门则指棂星门有屋七个，与今棂星门形制相同。
嘉靖四十一年（1562年），又进行了一次大修，历时两年告成。修复后的西岳庙有寝、殿、门、亭凡二百一十有二间。
清代对西岳庙进行过两次比较大的修建，一是在康熙四十四年（1705年），因为“御制重修岳庙”碑无详细记载，难知其详。第二次大修是乾隆四十二年（1777年），因为西岳神“近岁风调雨匀，屡昭灵应”，特别是陕西巡抚毕沅奏称西岳庙岁久倾颓，急需葺治，乾隆帝毫不犹豫便拨银十二万两，让毕沅酌情办理，叮嘱毕沅修西岳庙“务俾工程坚固，庙貌鼎新。
民国二十一年（1932年），国民党驻军冯玉祥部驻进西岳庙，使其遭受严重破坏。
1979年，西岳庙文物管理所正式成立，并开始收回了中轴线建筑的管护权，对石雕、石刻、古建筑采取了保护措施，搜集、整理了一些历史文化资料，征集了一批珍贵的文物。到了八十年代先后修了金城门、棂星门及西城墙的部分塌陷段，拆除了庙门前棋盘街的17家单位36户的居民住房。
1988年1月，西岳庙被公布为第三批全国重点文物保护单位。
1996年4月18日，西岳庙打开了尘封半个多世纪的正门——灏灵门，正式对外开放。
2014年1月1日，清乾隆皇帝御制的《重修西岳华山庙碑记》碑复立揭碑。
西岳庙是明清建筑风格的宫殿御苑式古建筑群落，其轴线与华山主峰形成一线，布局为坐北向南长方形的重城式大庙，朝向华山主峰，主要建筑沿着南北轴线左右对称。四周城墙建于明代，高10米，南北长525米，东西宽225米，周长1825米。整个西岳庙布局严谨，内城外廓，一条中轴线贯穿南北，形成重城式多单元的空间结构，亭、堂、楼、坊相错其间。西岳庙建筑群前后分为六个空间，在由北至南的中轴线上依次排列着灏灵门、五凤楼、棂星门、金城门、灏灵殿、寝宫、御书楼、万寿阁。第一个空间为五凤楼前即入口部分；第二个空间为五凤楼后面的院落 ，曾被誉为陕西的小碑林；第三个空间即棂星门到金城门之间的院落；第四个空间的主要建筑有灏灵殿（正殿）等；第五个空间的主要建筑有御书房等；第六个空间的主要建筑有万寿阁、游岳坊、望河楼等。整个建筑呈现前低后高的格局，这六个空间相互衬托，协调对比，形成一个不可分割的整体。
1994年6月11日，时任国家文物局局长张德勤受国务院委托主持交接仪式，将西岳庙正式由国防科工委移交陕西省人民政府。此后，华阴市政府制定了《关于对西岳庙实行分级保护的通告》，开始维修东西城墙和内城，清理门前区影壁以北的棋盘街，发掘出下马石、铁旗杆、牌楼基座等遗址，新植柏树680余棵，种植了大面积的草坪、灌木，庙宇环境大为改观。
1998年起，陕西省财政拿出900万元，陕西省文物局拿出1200万元，用3年时间对西岳庙进行大规模整修。
1999年，陕西省拨款1000万元，用于西岳庙庙前区的原貌恢复工程。
2014年1月1日，清乾隆皇帝御制的《重修西岳华山庙碑记》碑复立揭碑仪式在西岳庙举行。《重修西岳华山庙碑记》详细记载了西岳庙的历史，是研究华山西岳庙历史的重要文献。碑石由于历史原因被毁，幸有拓片传世，为了恢复庙内文化景点，再现该碑石昔日风采，经过有关专家多次讨论论证，依照原拓片，历经一年多时间，精雕细刻而成，并在原址成功复立。
西岳庙拥有长约1500米的砖砌城垣，城垣内檐牙高啄，楹柱回廊金碧辉煌。灏灵殿，玲珑透剔，疏密适度；御碑楼相互辉映，精雕细琢；石碑坊式样古朴，棂星门飞檐彩栋，金水桥金叶浮护、玉带飘香等名胜建筑，工艺精湛、结构严谨，乃古典建筑艺术佳作，中国文化遗产珍品。
