蒙山大佛为利用陡直崖壁开凿而成，位于蒙山近山顶处。佛龛为摩崖敞口式，宽29.60米，进深17米，平面大约为半椭圆形。佛像头部已经遗失，山与颈部平齐，研究者推测当时此处很可能有自然突起的岩石，开凿时将它刻成佛头。佛像背后的山崖有大片平地上有寺院遗址，散落有残碎砖瓦，还有刻着杭州天目山峰彻禅师的断碣。蒙山大佛为单体佛像，龛内外没有胁侍像的遗迹。
大佛头部遗失。颈部直径5米，高2米余，有三条阴刻项线。颈部至腹部高22米，两肘间距22.70米。两肩平而宽，胸胛肥厚，身形壮硕。由于大佛的岩体为疏松的砂岩，风化、崩塌相当严重，佛像衣纹服饰已无法辨认。佛像的胸部存有若干排小方孔，据推测为重修大佛时留下的遗迹。佛像小臂长12米、宽2.80米，保存较为完好。佛像施禅定印。右手长3.10米，手掌及小指尚存，左手已残。两手之下为条石补砌的双腿，高3米，结跏趺坐式。腿下为条石台基。
双腿和台基均为重修大佛时砌。研究者认为，佛像原来的坐姿虽未必是重修时的结跏趺坐，但是由两手的禅定印判断很可能就是结跏趺坐式。考古学家宿白根据清理前的遗迹推断蒙山大佛是倚坐的弥勒佛。然而，清理之后的佛像施禅定印，结跏趺坐，并不是倚坐的佛像。后来的研究者认为，蒙山大佛可能是释迦牟尼佛。理由之一是《重修蒙山开化寺庄严阁记》提到成招提之胜因，侔释迦之真相，另一个理由是北魏开凿的云冈石窟第20窟的释迦佛也是施禅定印和结跏趺坐，与蒙山大佛相同。
蒙山大佛自双腿下部至颈高约30米。研究者按照双肩宽度18米估计佛像头部高度大约十米左右，即蒙山大佛通高为40米，加上后世重修时增砌的6米高的基座，总高度大约46米。这与史籍的记载有所不同。唐代的《冥报记辑书》记载蒙山开化寺大佛高二百尺。按唐代一尺合现代0.295米，唐代记载中蒙山大佛的高度为59米，比蒙山大佛的实际高度多十几米。一些媒体按现代一尺合0.33米计算，得出蒙山大佛的高度为66米，也有媒体计算为63米，还有媒体称蒙山大佛通高（大佛站立高度）66米。这些媒体由此认定，蒙山大佛比55米高的阿富汗巴米扬大佛还要高。甚至有媒体声称，蒙山大佛与乐山大佛、巴米扬大佛齐名，并根据三者的高度关系认为将蒙山大佛称为世界第二大石佛。
大佛前的平台上存有面阔三间（约15米）的建筑遗迹，门墩石和地栿尚在，研究者判断建筑年代可能晚于五代。建筑遗迹北面存有一龟趺，碑已失。佛龛西侧壁上存有若干小石洞，是修建佛阁时嵌入梁檩所用。大佛龛外东侧，崖面上还有一块摩崖碑刻和二个洞窟的遗存。摩崖碑刻大约处在大佛胸部的高度上，为长方形，高2.50米，宽1.85米，是预先雕刻成之后嵌在山崖上的，文字已漫漶不清，只能判断出刻的是佛经，无法确知是哪一部经。
摩崖碑刻东侧的小窟高、宽都在1米左右，因岩石崩塌，此窟已被破坏。小窟的东边是一平面为方形的大窟，面阔2.97米，进深2.99米，高2.94米，四角攒尖顶。长方形的窟门高1.74米、宽0.97米、深0.52米，门两侧雕有石柱，石柱上雕出栌斗，栌斗之上是雕刻的阑额，阑额的斗栱为一斗三升式，柱间斗栱为人字形叉手。叉手为弧形，向外撇出，尾端微微上翘。结合四角攒尖顶、人字形叉手尾端上翘两个特征，研究者认为此窟可能开凿于北齐。窟内为素壁，并无龛像，属于禅窟，窟内残存有清康熙四十六年的题记。
2006年太原市政府为佛像修补了佛头，新修的佛头高12米，直径8米，重140吨左右，风格参考了当地出土的北齐佛像。加固佛身时共计灌浆450吨以上。
蒙山大佛本是开化寺后的佛像。开化寺建于公元559年（北齐天保二年），北齐文宣帝高洋赐额开化寺。寺后凿石修路，在寺后一里处依山凿刻佛像，即蒙山大佛。
蒙山大佛开凿的年代存在争议。一种观点根据《永乐大典》中《太原志·太原县》的记载，认为蒙山大佛的开凿始于北齐天保二年。另一种观点根据明嘉靖《太原县志》、明成化《山西通志》的记载，认为蒙山大佛的开凿在开化寺建寺之后，即晚于天保二年。有研究者根据五代苏禹圭《重修蒙山开化寺庄严阁记》中所述北齐文宣帝天保末年，凿石通蹊，依山刻像，认为蒙山大佛的开凿始于公元559年（天保十年）。
隋朝仁寿年初，开化寺中新建佛阁以保护大佛，并改名为净明寺。公元620年（唐武德三年），唐高祖李渊曾来此礼佛，并将寺名改回开化寺。另一说李渊礼佛是在称帝之前，礼佛回去后当夜梦化佛满空，毫光数丈，登基后李渊将寺名改为开化寺。公元657年（唐显庆二年），唐高宗李治巡幸并州，与皇后武则天同游童子寺、开化寺，童子寺佛像高一百七十多尺，开化寺大佛高二百尺，李治与皇后、妃嫔、宫人施舍了很多珠宝、财物、衣服。
公元844年（唐会昌四年），开化寺佛阁在唐武宗灭佛中废毁，蒙山大佛遂暴露在风雨中。公元895年（唐乾宁二年），盘踞并州的河东节度使、后来追封后唐武皇帝的晋王李克用参拜蒙山大佛后，命人重建开化寺佛阁。历经五年，佛阁终于建成。公元945年（后晋开运二年），镇守太原的北平王、后来的后汉高祖刘知远到开化寺焚香礼佛后，出资重修佛像和佛阁，留有苏禹圭所撰《重修蒙山开化寺庄严阁记》。
公元990年（北宋淳化元年），开化寺中新修二座高二丈释迦牟尼舍利塔（即今开化寺连理塔）。元朝末年，开化寺毁废，只有僧房舍利塔尚在。通常认为，蒙山大佛在这时一齐被毁。公元1385年（明洪武十八年）晋恭王朱棡重建开化寺，开化寺改名为法华寺。
1983年，参加太原地名普查的市政工作人员王剑霓重新发现了蒙山大佛。因调查地名时，王剑霓发现太原蒙山一带有很多带寺字的地名，还有一处地名叫做大肚崖，觉得非常奇怪。实地调查时，发现大肚崖其实是蒙山大佛的胸部，大佛的头部已经遗失，露出的胸部高度为15.75米，胸部以下埋在土石之中，土石厚达数十米。佛像背后的山崖顶上的平地还有绵延大约五百米的古建筑遗迹。1983年12月11日，《人民日报》的简讯中报道了这一消息。2001年9月21日蒙山大佛被列入太原市第二批重点文物保护单位。2006年9月，新修佛头工程开工，2008年1月，佛头安放完毕，10月7日，完成修复的蒙山大佛景区向公众开放。
2006年11月，太原市物价局召开会议，讨论蒙山大佛景区的定价问题，方案是门票90元人民币。后维持免费开放。蒙山大佛附近有煤炭、石灰石等矿藏，多年的开采导致蒙山大佛附近出现采空区，威胁着蒙山大佛的安全。2008年至2011年，太原市先后共申请到2.11亿元人民币用于蒙山地质治理。治理恢复了荒山、荒坡的植被，也基本消除了地质灾害隐患。
2011年2月，太原市的39名政协委员同1名全国人大代表联名提议，建议政府及早着手修复蒙山另外八尊大佛。他们认为，蒙山大佛两侧的山体上各有四尊未修复的佛身，连同已经重修的蒙山大佛，共是九尊大佛。提案中列举了六条理由，例如可以吸引全世界的佛教徒来太原朝拜、修复九尊佛后蒙山将超过美国拉什莫尔山国家纪念公园的规模、经专家研究考察蒙山大佛的保护开发利国利民利世界等。
2017年8月10日，山西蒙山旅游开发有限公司揭牌成立，标志着蒙山大佛景区完成改制，景区实现管理权、经营权两权分离，正式启动公司化管理、市场化运营。
