据明万历《太原府志》、清道光《阳曲县志》记载，在县治西有府县两学宫并峙，宫内有府县两文庙。此为早的太原文庙。府文庙建于金天会年间(1123年～1137年)，县文庙建于金大定年间(1161年～1189年)，规模宏大。庙外有两大坊，东曰“德配天地”，西曰“道冠古今”，属两庙共有。庙内的主要建筑，有棂星门、戟门、大成殿、东西两庑、名宦祠、乡贤祠、孝悌忠义祠、崇圣祠、文昌祠、奎光楼、敬一亭、更衣厅、泮池石桥以及供教学使用的明伦堂、斋房、教谕宅、训导宅等。
公元1881年，(清光绪七年)，汾水泛滥，西街两文庙被毁。
公元1882年(清光绪八年)，由当时的山西巡抚张之洞倡议，在火毁了的崇善寺废墟上新建。由亭、殿、门、庑、祠组成三进院落，利用前崇善寺末毁的零星建筑，较之原庙更为恢宏、庄重、婉雅、俊逸。
公元1919年(民国8年)，被辟为省图书博物馆。1927年又易名为“山西省民众教育馆”。 在这一期间，供奉孔子的大成殿，改作“古代礼物乐器陈列室”；威严肃穆的大成门，改成“礼堂讲演厅”。其它殿宇或为阅览室，或为书库，或为其它活动室和陈列室。
公元1937年，日军进攻太原。太原沦陷之后，伪太原市政府又把文庙更名为“山西省新民教育馆”。
公元1953年，新中国成立后，改为山西省博物馆至今。出于保护文庙以及其他多种原因，山西省文物局依文庙而建。
公元1998年太原文庙的现状引起了省、市有关部门的重视，省文物局等部门先后投资100多万元进行修复。
公元2010年，文庙保护已经逐渐步入正轨，虽然有许多小件文物保护缺失，但是大多数殿宇、文物大都得到了妥善保护。同时，许多山西省各地收集的文物整齐的放置于文庙场院之中。
2013年3月5日，国务院公布第七批全国重点文物保护单位，太原文庙被列为全国重点文物保护单位。
太原文庙由南向北依次建有照壁、六角井亭、棂星门、大成门、大成殿、东西庑和崇圣祠。院心宽广，古木参天。已经受到了一定程度的保护。
作为博物馆一部，文庙已向大众开放，主要展厅是大成殿及其东西两庑。展出内容是山西史，分古代和近代两大部分，整个展览反映了山西政治、经济、文化、军事等方面在中国历史上的重要地位，重点突出了山西人文荟萃、古建冠绝、戏剧渊薮等特色。比如在大成殿，已经整修一新：高大的孔子像令人敬畏，更有各种文物陈列整齐，并且大都放在玻璃箱之中，得到了很好的保护。
虽然展厅的文物得到了很好的保护，在展厅的外面，却不太理想。作为山西的一个文物保管点，在文庙的院落中，有大量的碑刻和小件文物。这些文物大量堆积，却没有分类整理和介绍，也没有任何保护措施。
文庙虽然地处城市中心，但是有效地管理和基本良好的周边环境，对文庙的保护已有一定成效。
