湛江楞严寺位于湛江市西约25公里湖光岩风景区内的楞严寺，历史悠久。传说早在隋代叫“灵惠侯祠”，北宋末靖康年问(1126－1127)，遂溪雷阳僧人孙琮(琮师)结茅习禅于此，取名“白云禅庵”。元代至大年间(1308－1312)，孙裕等塑佛像三尊于寺内供奉，孙圭等捐出田产。明洪武间，知县张昭命彭九思等重建，孙希武等写文章记载此事。清代康熙二十五年(1686)，遂溪知县宋国用在寺前建书室三间，为湖光社学，后并归于寺。清道光二十八年(1848)，遂溪知县俞炳荣重修寺院，清咸丰十一年(1861)再次重修，邑举人陈桂林作序记其事。后人以佛教有《楞严经》而改禅庵为楞严寺，由邑举人陈桂林书其额于左侧山门上，沿用至今。
楞严寺为二进小四合院式布局，后进为大雄宝殿，于悬崖峭壁之间，依岩石营建，凑接岩洞修造，纯天然岩洞，约40平方米。岩之四周，形势天然，硬山顶，顶巨岩覆盖，以。湖光岩”三字摩崖石刻而闻名，此乃丞相李纲于南宋建炎三年(1129)被贬经雷州留下的罕见笔迹。殿内供释迦、药师、弥陀佛和十八罗汉。前进为韦驮殿，三间厢房封闭式，砖木结构，中厅供弥勒、韦驮，原寺额“湖光镜月”及寺联：“湖水苍茫，客到路从花外问；岩山寂历，僧归门向月中敲”，是清代首任出使美国大臣、我国首批留美学生总监的吴川县陈兰彬(1816－1894)获存翰林院庶士后，回乡探亲游览湖光岩时留下的笔迹。两殿间庭院，两侧分别为。白云深处”客堂和依石窟构筑的廊庑，后毁廊庑改为僧舍、斋堂，砖木结构。原寺前、左右以湖水为邻，出入寺院靠走左侧悬崖石级小径，当时以“霍拔流俗，足不入城市”的高僧琮师每次送客至山门前，故山门有一联为：。洞口留仙眼石榻，门前送客步云梯”，由清代秀才彭嘉鱼题书。右侧原有一石牌坊，上书。南无阿弥陀佛。，背书“回头是岸”，笔力如生。寺周光映岩树，形势天然，岩湖掩映，相显益彰。诗人喻为“岭似雄狮蹲绝壁，水如明镜倒满天”，湖光胜景，蔚然大观。七十年代，引湖水灌溉。湖水下落，寺前有近百平方米场地，寺左筑有大路，车可直达寺山门前，更方便游人参观礼佛。
楞严寺历代住持不能尽考，清末民初有释持空、释信斋、释遂如等，遂如和尚还在此组织念佛社。解放初，由僧释真如住持。1954年，寺遭风雨冲刷，部分建筑物被毁，政府出资2．5万元修复，保护名胜古迹。1966年，停止佛事活动，寺中文物散失。1980年恢复佛事活动，由僧释清和为临时住持，其间将寺额。湖光镜月”改为“楞严寺”，由中国佛教协会会长、全国政协副主席赵朴初书写。1982年由僧释明谓任住持，曾于1982年和1984年两次局部维修佛像重彩。
近年来，由于地基下沉，风雨冲刷，韦驮殿墙体开裂，建筑规模狭小，不适应发展需要。住持释明谓再次筹款改建，经过当地宗教、文物部门审批，这次改建除以岩洞为殿的大雄宝殿不变外，其余建筑物全部拆除重建，按清代后期建筑特色。韦驮殿向前扩深1．5米，改原封闭式厢房为二柱金宇架结构，前廊柱用石柱石础，后栏用水泥仿石，外墙涂土红色压线假砖条纹，殿额恢复清翰林陈兰彬书“湖光镜月”，以存其文物价值。两侧改为二层便殿、僧舍，廊栏用水泥仿石，全部用红木按图雕塑，古代图案，铜、铬合剂处理制作，外墙涂膏灰色压线假砖条纹，檐边琉璃瓦。改建部分建筑面积共500多子方米，造价54万元，全部工程于1996年初竣工。
楞严寺不仅是佛教场所，还是风景胜地，又是骚人墨客结集题咏之所，寺内外存历代名人碑刻16通。1985年举办湖光诗廊，收集古今名人题、咏之作：有宋相李纲<题琮师)，元宣尉司曾、明监察御史陈贞豫的手迹和赋诗作记，清代知县黄恩贵《题湖光岩》、知县洪泮洙《湖光岩山水记》、邹双《湖光岩记》、宋国用《唐建湖光岩书室记》，近代郭沫若的《惠湖光岩》(1961)，董必武的《湖光岩》(1964)，等等。1986年，湛江市人民政府把楞严寺定为市级文物保护单位；
楞严寺前的湖，据考是火山经多次爆发后与地下水形成的湖，至少已有20多万年的历史。古老传说湖中有“龙鱼”“神龟”，当地人还传说这些“神龟”曾经救过不少溺水者。1996年5月28日下午4时许，“龙鱼”“神龟”戏水湖中央，几十年来没有人目睹的奇观出现，令游人大饱眼福，当时在湖光岩观光的有解放军国防大学将军班60名学员，这一奇观的出现给湖光岩增添了更神秘的色彩。
