羚羊峡由羚羊山同鼎湖区沙埔镇的烂柯山雄踞西江两岸而成。烂柯山主峰烂柯顶海拔904米，峰峦叠嶂，怪石嶙峋。羚羊山主峰龙门顶高615米，山高坡陡，紧迫江岸。峡谷绵亘7.5公里，河道窄、河床深，两岸陡坡险峻，肇庆城区附近江面宽过千米，而进入峡内河道宽330米，最窄处才200米，平均水深48米，最深点达78米，水流湍急，水卷漩涡。
旧时，由于科技不发达，无机动牵引的水上运输工具，这样，东下的船艇还可顺路直放，西上的船只就要靠撑蒿抬橹、架桨扬帆。更多的时候要由船工系缆登山拉纤。
明代以前，纤道错落不整断断续续，行走不便。明正统十三年(1448年)，高要县知县陆驹从这里经过，体会到纤工苦况，遂开始在峡山冷坑等处筑桥梁，以便利行人和船只上行。到明万历十年(1582年)才凿石路，称为“峡山旱路”。明万历三十九年，高要县人陈一龙集资重修，并筑桥13座，峡路才算真正成通途，这就是西江古栈道较完整的雏形。清嘉庆二年(1799年)，高要县知县裴盛清再加以修理，筑桥19座，栈道更完整。
据说，羚羊峡口北岸有一洞，曾建有“羚峡古刹”，因地处羚羊峡口，故而得名峡山寺。古寺始建于萧梁时代(公元502～577年)，唐时已很著名，曾是肇庆的一处佛教胜地。唐代著名诗人沈佺期、杨衡以及以“山雨欲来风满楼”而扬名的许浑等，对峡山寺皆有题咏。唐朝以前，羚羊峡有很多猿猴出没，在诗人笔下留下了不少猿啼三峡的文章，而到宋以后的诗歌文章，不再发现有猿啼的记载。峡山刹胜，曾为明、清代肇庆八景之一，可惜古刹近代被毁，今只留遗址。
山中的页岩是制作端砚的石料。山上有峡山寺、归猿古洞、清风阁、摩崖石刻、裴公十九桥、峡山旱路、涵碧楼、桂元精拾、葬花冢、伏波公子廊、龙门一洞天、古炮台等古迹，加上峡山合一的自然风景，唐、宋年间已享有盛名，成为历代文人骚客流连忘返之地。也因而留下大量的诗词文赋作品，唐代裴铏著名的作品《孙恪传》所写的就是峡山寺和归猿古洞的传说故事。“羚峡归帆”也被历代评为八景之一。
羚羊峡地处西江下游，是由北面的北岭山脉，南面的烂柯山脉，经西江河水的切割作用而成，西南至东北走向，西南起羚羊山，东北至后沥，全长7.5公里。传说仙人鞭羊往广州，路经此地，一羊见这里风景秀美不愿离去而得名。
羚羊峡的景观，在隋代已被人们认可，唐宋以来，沈佺期、宋之问、张说、李邕、张九龄、李绅、许浑、余靖、周敦颐、郭祥正、米芾、陈与仪、李纲、葛长庚、李昴英等达官名流登临游览，并写下许多脍炙人口的诗章。杨衡称赞羚山景色“胜绝固难俦”，沈佺期则具体描写说“黄猄骄而受训，山鸡戏而频舞，猿猴斗玩，虎啸山林，山鹰低空盘旋，白鹭结伴翱翔于山峦江水之上”。唐时裴俐《传奇》中的《孙恪》（《袁氏》）故事就发生在这里。自隋朝到清朝，在不足8公里的羚羊峡，其古迹有史载可查的遗址，先后有峡山寺、灵华寺、龙华寺、文殊清庵、天后庙、娘娘庙、太监庙、镇溪庙、伏波公子庙等。
羚羊峡在唐朝已定为端溪妙景。明代以后，肇庆八景又有羚峡归帆、砚渚清风。现存景观有仙猿古洞、出入山虎、望夫归石、羚山炮台、砚坑遗址、海军马口抗日阵亡将士纪念碑、峡山旱路和清风阁摩崖石刻等。
