书院布局因地制宜，门楼座西朝东（取紫气东来之意），两层，高约10米，青砖砌筑，镬盖耳，风火山墙，绿简瓦，灰塑瓦脊，绿琉璃瓦剪边，门上石额“何家祠道”。过门楼为一庭园，面积约140平方米。庭园南面为照壁，北面为书院主体建筑正祠及两侧书一舍。正祠座北朝南，为三进式。前座头门，宽11.75米，深构7.5米，为面宽三间。步上三台石阶，有一般祠堂所常见的方形石柱，两侧为麻石平台，进2米后至大门，门上有花岗岩石额，上刻“庐江书院”（见图片）。中墙上端有“必得其寿”彩绘，头门后亦有两根方形石柱，并以中心分墙分别承重十三梁架。墙体为水磨青砖对缝砌筑，墀头处有砖雕，绿琉璃瓦下有漆金木雕横披，硬山顶上正脊为博古灰塑瓦脊。整座头门庄严而华丽。头门井长约7.5米，左右两侧皆有廊庑。二座中堂阔11.8米，进深8.8米，前后各有4根方形石柱，堂中亦有4根直径10厘米的坤甸木柱，托起十三架梁。堂前后皆有出卷棚廊及接天井的廊庑。前廊架雕博古纹饰，古朴庄重，堂内施金线形通花木雕横披，华贵、精巧，整座中堂给人以华美、尊贵、通透明亮之感。中堂后的天井约6米长，两边廊庑嵌有南宋至清广东何氏宗族世系及鼎建、重修庐江书院的12方碑刻。过天井则至三座后堂。后堂于三座最为高大，宽、深各12米，两侧风火山墙高13米，进深亦各三间，堂前为2根方形石柱，堂内4根坤甸大柱，堂后的墙壁上供奉着祭祀神龛。整座大堂，高大、宽敞、肃穆，是举行重大祭典的场所。书院主体建筑两侧为东、西书舍，以青云巷与天井廊庑有门相通。东面书舍一排9间，魁楼一座。西面书舍三排共25间，其余书舍房间共12间，舍门石额分别刻有各县、乡名称，如“新会房”、“恩平房”、“龙塘房”等有43间。其余皆为附祠用房。东侧书舍内有魁星楼，亦称“登云楼”，楼宽4.3米，深4.5米，高三层，镬耳状风火山墙，正脊置琉璃鏊鱼宝珠，墙体上嵌有石额两幅，上块题“文光射斗”，下块曰“登云”。1993年修缮时重砌楼阁，把魁星楼改为平顶楼。
庐江书院，始建于清嘉庆十三年（1808），占地1722平方米。书院曾于道光、光绪年间两度重修，其中，光绪年间的重修，耗费白银二万多两，书院建筑之秀美和装饰之细腻仍令人称叹。曾是清代省内何氏家族子弟来广州赴考时饮食起居和温习读书之地。该书院书舍为三排以及南面个别书舍（占地约1300平方米），整体建筑是大小马站、流水井宗族（祠）书院群中保存相对完整的宗族（祠）书院之一。
庐江书院，1993年被广州市人民政府公布为文物保护单位。
庐江书院，是近代广府何氏的图腾标志，是何氏先辈在清朝联合广州府及肇庆府的何氏村落打造的“合族祠书院建筑”。本书院保存完整，在中国的明清书院中具有代表性，也有较高的历史研究价值，其建造模式及运营模式在中国的书院群里也别具特色。庐江书院为国家民族输送过很多爱国志士，杰出英才。
自乾隆后期至嘉庆年间，是广东科举考试．日渐繁盛的时期，亦是官学兴盛时期。乾隆五十六年（1791)，广州府集银41000多两重修广州府学宫（今广州市第一工人文化宫，简称市一宫）；嘉庆八年（1803）广东布政使康基田在龙藏街改岭南义学为羊石书院（后为府级的羊城书院），又拨府银将位于今盐运西街一带的南海义学改为西湖书院。有名的官办书院，如粤秀书院以前不收外课生，此时亦增收外课生员40人，童生10人（这些外宿的诸生每月均可领取1.8两膏火费，即生活补助费和有参加官、师课考的奖银），越华书院正课生额亦从30名增加到80至100名，又增收外课生员36名和童生24名。倘若遇上乡试之年，这些官办书院还额外招收正课生、外课生和附课生。
所以，大小马站、流水井一带，很多省内大姓宗族，多在嘉庆年间创建宗族（祠）书院，以助本族宗人到省城赴考争取功名，省内何氏宗族为了方便本族子弟到省城应试，于是创建了这所庐江书院，并相应制定了很多规矩。
