慈氏塔位于洞庭湖边西南，塔为砖石结构，楼阁式，八角七层，通高39米，下部塔基用五层麻石铺砌而成，塔身全部用青砖砌筑。自第二层起，每层四面均设有小佛龛，共有28个，龛内原供小佛像。每层檐角设小钟，微风吹来，叮当作响。塔顶置有铁刹相轮，上有6根铁链从塔顶直贯塔基，是用来起稳固和避雷作用的。宝塔巍然耸立，雄视洞庭湖，为“巴陵胜状”之一。这一宏伟的建筑，体现着唐宋时期的艺术风格。可惜塔为实心，不能登临眺望洞庭风光。
慈氏塔的修建，流传着一个动人的故事：相传古代，洞庭湖里有水妖作怪，经常出来为害百姓，老百姓苦不堪言。于是大家集资，准备修一座宝塔妖。在修塔地点附近，住着一户人家，全家人大都被水妖涌起的恶浪吞没，只剩下一个寡妇，人称慈氏。她听说要建塔镇妖，把多年积蓄下来的一点钱全部捐献出来，还日夜不停地为造塔的人们烧茶送水，来回奔走。不幸塔未修完，她就离开了人世。人们为了纪念她，把塔命名为慈氏塔，并在塔旁修建了慈氏寺。
慈氏塔建筑的历史据光绪《巴陵县志》记载：唐朝开元年间（公元713年至714年），西域有个叫妙吉祥的佛教徒来到岳慈氏塔阳，父老们说，西方有一条白色孽龙窜到这一带，日久将兴风作浪，危害百姓，必须建塔镇压之。传说城内有一寡妇慈氏，以慈悲为怀，捐钱建造了这座宝塔，所以叫做慈氏塔。但根据考证：所谓“慈氏”，并不是指的某寡妇，而是指佛教中的弥勒佛。佛以慈悲为本，弥勒即梵文“慈氏”的意思，故称慈氏塔。慈氏寺供奉的就是弥勒佛。又据《岳阳风土记》载：慈氏塔“日出之初，影射重湖，镇洞庭水孽。”这是人们建造慈氏塔的主要目的，也反映了当地人民群众的一种善良的愿望。慈氏塔建造之后，在南宋淳佑年间重修过，已有800余年的历史，虽然经历了风雨雷电和战火的摧残，仍巍然屹立，仅佛像和铁铃不复存在，它的浑厚坚实，不能不令人赞叹不已。慈氏塔1956年被列为湖南省重点文物保护单位。
每年5月至10月，是岳阳－洞庭湖旅游季节。
