甘棠湖中，楼台远距世俗红尘。走过九曲小桥，进入洞门，即到四周环水的烟水亭。在粉墙环抱、楼台高耸、绿树浓郁、湖平如镜的环境中。犹如到达世外桃源。亭为水榭式建筑，有船厅、翠照轩、境波楼、纯阳殿等。纯阳殿左壁嵌石碑一方，上刻大草书“寿”字，由“九转炼丹”四字组成，传为吕洞宾手迹。殿内陈列文物，以有东林寺标记的砂钵引人注目。亭前方丈地，石雕围栏贴水而起，垂柳翠柏点缀其间。两边有石凿“藏剑匣”，相传因为庐山北双剑峰之刃直对九江市，于是人们凿石匣收藏。从烟水亭向南眺望，在湖面波光粼粼、水岸交接的极远处，青黛色的山脉起伏迤逦，此即名闻中外的避暑胜地庐山。在烟水亭远眺，别有一番景色。
烟水亭是历代文人骚客宴游之地。亭内有风格各异的楹联匾额，或叙事绘景，或写意抒情，联由景出，文景交融，游亭观联，雅趣盎然。
旧时，烟水亭是本城民众祭祀先贤的香火之居。五贤阁内纪念的五位贤士和贤吏是：田园诗人陶渊明、江州刺史李渤、江州司马白居易、宋、明理学大师周敦颐、王阳明。现烟水亭各厅室已改作九江文物陈列室，在这里可以看到具有地方特色的出土文物。
据府志记载，“八洞神仙”之一的吕洞宾，曾当过浔阳县令，为九江人办过不少好事。纯阳殿中的吕洞宾塑像早已毁于兵燹，殿后留下一块相传吕道人亲书的“寿”字碑。斗大的“寿”字，一笔九转，寓意“九转成丹”。字体苍古，初看是个“寿”字，细看则为“丹”字。据说这块似“寿”似“丹”的字碑，寄寓了吕洞宾对九江百姓人寿年丰的美好祝愿。
烟水亭石级两旁有藏剑石匣一对，立于亭前石级两旁，有纳峰藏剑之意。据载：九江常遭屠城和匪寇骚扰，按阴阳家之说，皆因郡城面对庐山双剑峰所致。“宋乾道间，郡守唐立方乃辟谯楼前地筑为二城，夹楼矗其上，谓之匣楼，曰：匣实藏剑”。后遭毁。现石凿于清同治十二年（1873），为知县陈鼐扩建烟水亭时所凿。
