阅江楼始建于明宣德年间，历代有修缮，名称也屡次更变，初为崧台书院，继称东隅社学，明崇祯十四年(1641)始命名阅江楼，清初曾改名镇南楼，不久复称阅江楼。清代阅江楼是文人墨客云集吟咏之所，清代著名诗人朱彝尊、陈恭尹、翁方纲等均有题咏。
阅江楼的建筑布局讲究匀称、均衡，楼房高2层，分东西南北4座，楼与楼间建有回廊小阁，相互衔接。
因此，各楼之间可以全部贯通，组成四合院式的整体建筑。中间是典型的岭南庭院，设有水池假山以点缀，四周有前人所载的米兰古树，弯扭虬曲的树身周长粗达80多厘米，为米兰中所罕见，每年两度花开时节，馨香四溢，沁人心脾。
楼前有宽阔的停车场，登数十级石阶便上到楼台，石阶两侧有大石狮一对踞守，神态庄严威武，是肇庆市现存石雕中的珍品。该石狮由整块汉白玉石雕成，是南明桂王朱由榔在肇庆建万寿宫时所雕。 阅江楼后园遍植鸡蛋花树，每值花开之时，树冠上束束鲜花散发出迷人的幽香。
登楼凭窗眺望，西江之水自楼前滔滔东去，江中浮光点点远接天际，对岸青山连绵，文明、巽峰二塔与阅江楼隔江相对，诗情画意令人陶醉。
楼筑于高约8米的山岗上。坐北向南，为四合院式古建筑。占地面积约2000平方米，其中院庭面积248平方米。楼高两层，分南、北、东、西4座。其中北（后）楼比南（前）楼高，东、西两楼等高。
4座楼通过4座耳楼衔接通连。南北两楼为歇山顶，屋脊上均饰有鳌鱼宝珠。东西两侧楼为卷篷顶。院内设水池、假山，植米兰、葵树，清幽雅静。南门前石阶下置石狮1对。
北楼地下大厅原有清康熙两广总督郭世隆所建立的康熙御书碑6方，现存5方。南楼檐下，悬挂两广总督劳崇光书的“阅江楼”木匾。
馆藏文物数千件，其中有著名的中国文房四宝之一的端砚珍品、珍稀的康熙御书、宝贵的“铁军”叶挺独立团史迹文物。陈列面积2780平方米，分基本陈列、专题展览、临时展览三大部分。
主要有《叶挺独立团史迹陈列》、《馆文物陈列》、《端砚春秋》陈列，国内各地的艺术珍品也经常在本馆临时展出。
阅江楼是在肇庆市端州区正东路东侧石头岗上，南临西江，始建于明宣德年间，历代有修缮，名称也屡次更变，初为崧台书院，继称东隅社学，明崇祯十四年(1641)始命名阅江楼，清初曾改名镇南楼，不久复称阅江楼至今。原为平房，清顺治十四年(1657)改建成两层楼房，高15米，是典型的南方园林庭院式的二进院落四合院式布局的古建筑。占地面积8100平方米，建筑面积2780平方米，南北两楼为歇山顶，东西两楼为卷棚顶，并通过四座耳楼衔接沟通，形成统一的整体。
抗日战争时期，日机炸毁西、北两楼，1959年重建。
现院内有假山、鱼池、花木、芳草，楼四周为宽敞之平台，遍植树木，南楼前面是石阶，拾级而下到达广场，场地延伸至滔滔东流的西江河畔。
北楼底层，原有康熙御书碑六方，现存五方。每方碑刻高2.20米，宽1.10米。
清康熙四十五年(1706)，两广总督郭世隆在阅江楼侧崧台驿建御书碑廊，将康熙赐给他父子的手迹摹勒于石上。
碑刻字体有楷书和行书，内容有康熙摹宋代书法家米芾的作品《净名斋记》、《阊门舟中戏作》和明代书法家董其昌的作品，有楷书大字“端方”及“岳牧之任”。
康熙所书的扇面有四，其中之一“凯旋诗”是康熙三十五年(1696)御驾亲征漠北时的诗作，历史价值较大。
康熙书法清秀，刚劲有力，故艺术价值也较高。南楼檐下悬挂木匾额，楷书“阅江楼”巨字，是清两广总督劳祟光所书。楼下还镶嵌有刻于康熙五十六年的《端江杂咏》诗碑和刻于雍正十二年(1734)的《重修阅江楼》诗碑。
阅江楼是肇庆八景之一，名曰“江楼晚眺”，不少文人雅士曾在此吟咏酬唱，例如明代区大枢的《崧台书院秋望》诗、瞿式耜的《闽江楼》诗、清代陈恭尹的《闽江楼晚眺》诗、赵翼的《寓端州阅江楼，喜蒋南邨州牧至》诗等等，描绘阅江楼的壮丽景色。现为叶挺独立团纪念馆所在地。
阅江楼坐落在肇庆市城区正东路石头岗上，居高临下，屹然矗立在浩荡东去的西江河畔，气势雄伟非凡。
宣德六年（1431年），肇庆知府王莹将石头庵改建，名为崧台书院。
崇祯十四年（1641年）再度改建，正式立名为阅江楼。500年来不少文人墨客登楼抒怀，写下许多想象雄奇的诗篇，为这座古楼平添了异彩。
第一次国内革命战争期间，国民革命军第四军独立团在肇庆成立，阅江楼为独立团驻地和活动地点之一。
1959年，该楼辟为“叶挺独立团团部纪念馆”，朱德为纪念馆名题了横匾。1962年列为广东省重点文物保护单位。馆内除叶挺独立团团史陈列外，每年还展出各种类型的展览，是游人参观的好地方。
