书院为三进合院式布局，占地面积935平方米，有门亭、门楼、香亭、后堂及厢房等，屋脊为高大风火山墙(俗称镬耳)。
菁莪书院为三进院式布局，面积935平方米。第一进为门楼，圆拱门，门匾“菁莪书院”为清代进士刘宗标所书。门后有亭，亭后为一宽敞庭院。第二进为主厅，二层楼阁式建筑，风火式山墙。厅内绘有精致的工笔水墨画，原挂有状元王仁堪题的“主本堂”牌匾和状元刘春霖等题写13面牌匾，今已散佚。主厅后之天井加上盖，成为香亭，供祭祀用。左厢为理事之所。
书院内收藏不少书籍字画，并设书房、客厅10间。第三进为后厅，设有神龛，放置乡贤神位。香亭两侧有小天井。主厅和后厅两边均置厢房。主建筑左侧为两进客厅，用天井与主建筑隔开，以利通风。书院内墙绘有多幅精湛的工笔墨画。
菁莪书院建于清光绪十二年（1886年）。
1918年曾以学租送张定汉等3人赴法国留学。
1920年，粤军肇罗镇守使属帮统杨鼎中驻扎于此，其部下的年轻将领蔡廷锴、陈铭枢、陈济棠皆为书院常客。
1924年，粤军第四军黄明堂和国民革命军第三师师长郑润琦先后在此设指挥部。
1925年，罗定农会曾在此烧毁田契，实行减租减息，影响极大。
1928年，国民革命军第四军叶肇部也驻于此。民国时期，书院还作过国民党县党部机关。
建国后，书院曾作粮仓和学生宿舍用，文革后，书院又被砌成房间出租。
建国后，书院曾作粮仓和学生宿舍用，文化大革命时期遭受破坏，藏书与匾额被毁，画壁被粉刷掩盖，文革后，书院又被砌成房间出租，损毁更为严重，随时有倒塌危险。
广东省有关的领导、专家考察后，对书院的现状甚为关注，认为应立即采取有效的抢救措施，以防倒塌，并要迅速制定修缮规划，对书院进行全面的修葺（包括书院前的小广场、古井等）。
罗定市相关部门正对书院采取相应的抢救措施，并把它列为继罗定学宫后的重点文物维修对象，准备对书院进行全面的修葺。
1985年罗定县政府公布为罗定县第一批文物保护单位。
2002年广东省政府公布为广东省第四批文物保护单位。
“菁莪”一词，是先秦诗歌总集《诗经》中《小雅·菁菁者莪》一篇的简称，“菁”和“莪”都是指生长茂盛的草木植物。《诗序》释曰：“菁菁者莪，乐育材也。君子能长育人才，则天下喜乐之矣。”“菁莪”在古代有育才之义，所以“菁莪书院”的名称亦是由此而来。
