三祖寺建筑在凤形山的南北走向上，从山门殿到觉寂塔，占地面积7.04平方公里。南边的建筑为山门殿，由通天阶往上为天王殿，再往北依次为大雄宝殿、千佛殿、祖师殿、觉寂塔。三祖寺坐落在大别山东南麓的安徽省潜山市区西北9公里处的谷口凤形山上，占地面积7.04平方公里。三祖禅寺在南朝梁武帝时开山，原名山谷寺，后因禅宗三祖僧璨在此驻锡，故名三祖寺。三祖寺曾有林逋、王安石、苏东坡、黄庭坚、李公麟、陆宰等文人游寺题诗。
山门殿在三祖山脚，由门厅、耳室和寮舍组合而成。门厅为山门殿的主体建筑，楼阁式，砖木混凝土结构。正厅宽11米，进深7米，三门并立。正门名“般若门”，东门名“解脱”，西门名“精进门”。在正门楣上方，门前，有一对2.8米高的青灰色花岗石雕坐狮。门厅内东西两侧，有7.5米高的“金刚力士”塑像，俗称“哼”、“哈”二将。 通天阶是山门殿通向天王殿的石级通道，全程60级，宽2.5米，垂直高度15米，坡度为30度角。依山势叠砌梯形台式花坛，占地面积300余平方米，坛内种植着四季花卉。
天王殿是供奉弥勒佛和四大天王及韦驮塑像的殿堂，为中国汉族地区佛教寺院的重殿之一。天王殿纯砖无梁结构，攒尖6角，内穹无梁，亦称“六角无梁殿”。顶高12米，檐高8米，东西跨度与南北进深均8米。殿门楣上，嵌有水泥磨砂“天王殿”黑底金字匾额一方。殿门东墙壁，嵌镶国务院于1983年4月9日批准的“全国重点寺庙乾元禅寺”的大理石质匾额；殿门西墙壁，也嵌有怀邑弟子吴福余敬赠的“佛光普照”和“功德福田”的大理石质碑额。殿顶六条瓴脊，饰有六条游龙。天王殿内，居中的供坛上，供奉着铜铸大肚弥勒佛像，四周分别供置6米高的四大天王塑像。与弥勒佛像向背而立的，是铜铸韦驮像——释迦牟尼的护法天神。
三祖寺的大雄宝殿，与天王殿同时建成。始为乾元阁，1944年，三祖寺方丈月海、监院宏超将塔前拜殿改建成大雄宝殿。大雄宝殿其殿基高出天王殿4米，是歇山式殿宇，砖木混凝土结构。殿脊高17米，檐高10米，东西跨度25米，南北进深17.5米。殿内8柱架枋，5枋架梁。四壁嵌枋桃梁，四楞桃梁撑角。嵌枋和挑梁上，遍绘龙凤、狮麟等珍禽异兽及奇花异卉图案。正门4扇，窗开8面，都有镂格雕花。正门楣上，悬置木质黑底金字赵补初手书“大雄宝殿”匾额。 门前丹墀内，分东西对置一对高2米的青灰色花岗石质坐狮石雕。石狮之间，安置一只铁宝鼎。丹墀东西宽25米，南北深8米。南沿中段，建有4米宽的混凝结构的挑台，直抵天王殿后墙。丹墀的东、西、南3南边沿的挑台的东西两沿，用汉白玉砌围栏。栏高1.2米，22柱，柱头及栏板上，均饰有浮雕花卉图案。 殿内正厅，供奉一尊汉白玉石释迦牟尼佛像。释迦像的在右，供奉其弟子迦叶和阿难的汉白玉石雕像。释迦像的前面，供置一尊铜铸释迦太子像。在释迦像的背后，是“海岛仙山”的大型浮雕。正厅后侧，分东西供置文殊塑像。大殿地面都用花岗石铺成。
三祖寺5大重殿之一，为砖木混凝土结构的无梁式殿宇，建筑面积100平方米，攒尖4角，灰墙白疑缝，琉璃黄瓦。顶高12米，檐高8米。殿门楣上，嵌有水泥磨砂仿赵朴初手体“千佛殿”匾额。殿门两侧，悬置一副木质黑底金字仿赵朴初手体的“三祖道场重现，千花满载而归”的联语。殿门前正中的石阶上，安置一只铁宝鼎。大殿中央2米高的供坛上，供奉首一尊木质装金毗卢遮那佛像。殿内四壁的千余个砖砌小佛龛中，供置千余尊陶质鎏铜小佛像，与毗卢遮那佛像成为一组“千佛朝毗卢”群像。重新供置塑制的三祖僧璨像。塔顶相轮，由8条铁链分别牵制于塔体顶层8角，铁链上都系铃铎。
三祖寺5大重殿之一。此殿为楼阁式建筑，硬山重檐，上下2层。上层为藏经阁，内藏有《大藏经》等及其它典籍千余卷（册）。在上层楼檐正中下方，悬置木质黑底金字赵朴初手书“藏经阁”匾额。下层是祖师殿，为3间通间，中有4柱架楼。在殿门及窗棂上，都镂有雕花图案。在两层楼檐正面的嵌梁、撑解和内枋上，绘有“唐僧取经”的彩色浮雕。殿门前有廊，殿廊两端，分置钟鼓。正门楣上，悬置五方木质黑底金字“祖师殿”匾额。正厅中央的供坛上，供奉铜铸达摩、慧可、僧璨三祖师像；正厅东后侧，供奉一尊铜铸宝志禅师肩扛锡杖的立身像。正厅供坛的后面，有楼梯通向藏经阁。
俗称三祖塔，在千佛殿北侧。此塔原于唐玄宗天宝四载（公元745年）舒州别驾李常捐建，代宗李豫于大历七年（公元772年）赐名“觉寂塔”。觉寂塔是楼阁式建筑，砖木结构，5层7级；8方4门，出入相制。塔体通高30余米，外壁镂有砖质佛像近千尊。每层外廊都砌有80百米高的砖栏环围。塔底层南窦，原龛置一尊李常塑的僧璨舍利像。于“文化大革命”中被毁，重新供置塑制的三祖僧璨像。
火车
合九铁路在寺东7公里处；天柱山火车站距潜山县城仅2公里，北至合肥165公里，南至九江143公里；
火车车次：1427、1428、5087、5088、K706K707、K708K705、K8434K8435。
公交
谷口汽车站在三祖山前，东距潜山县城仅9公里，西至岳西县城44公里；318国道北至合肥199公里，西至黄梅县100公里，至武汉375公里，东南至安庆56公里；
天柱山旅游公路自谷口起站，绕三祖山，傍塔院后门直达佛光寺，全程仅16公里；
安庆三祖寺公交站，途径三祖寺公交站的有潜山3路、潜山县3路等2条公交线路。
南朝刘宋明帝泰始初年（465年），建康（今南京市）道林寺高僧释宝志，得到天柱山，住在石洞里习静参禅。潜邑隐士何求、何点、何胤三兄弟将私宅献给宝志，供其开山建刹，初名“菩提庵”。
公元520年，菩提达摩渡江北上，经过菩提庵时，在峭壁上凿了观音阁（现称达摩崖。
大同三年（536年）梁武帝赐名”山谷寺“。
隋开皇二年（583年），僧璨在司空山得到慧可传承衣钵后，于隋文帝开皇十年（590年），正式驻锡山谷寺（即三祖寺），研着《信心铭》经典，公开传经布法。
唐玄宗天宝四年（745年），舒州别驾李常取僧璨真仪火化，得舍利三百粒，以百粒塑僧璨像，出己俸建塔，置像于塔座南窦，供广大信众祀奉。
唐干元元年（758年），肃宗李亨御赐山谷寺为”三祖山谷干元禅寺“。
大历七年（772年），代宗李豫又谥僧璨号”鉴智禅师“，赐塔名为”觉寂塔“。
唐会昌五年（845年），武宗李炎下令全国灭佛，拆毁寺宇，。三祖寺与觉寂塔在这一时期中同时遭毁，被夷为平地。
大中元年（847年），三祖寺与觉寂塔同时得到修复。
宋太平兴国七年（982年），邑民柯萼掘出有释宝志手书的”圣祚绵远“的石刻，进献朝廷，太宗赵匡义取名”瑞石“，遣使来三祖寺致谢，谥宝志名”宝公“，赐名”道林真觉禅师“。
天圣六年（1028年），章献皇太后降旨，为仁宗赵祯增寿，选天柱山山谷寺为道场，降赐佛牙舍利，建资寿宝塔。
自度宗成淳元年（1265年）起到元世祖至元十九年（1282年）。三祖寺又遭毁败。除觉寂塔外，余皆被焚。元朝一代，三祖寺虽有一些较小的恢复，但到元末又一次改朝换代的战争，再一次摧毁三祖寺。
明仁宗洪熙元年（1425年），住持僧普聚重兴寺门，三祖寺香火渐有恢复。
宪宗成化（1465-1487年）间，推府潘鉴捐俸，命寺僧智俊、智傧等鼎新寺宇，使三祖寺面貌恢复如前。
自崇祯八年（1635年）始，张献忠率农民起义军数度迸驻潜山，和明廷官兵作战。在这场战争中，三祖寺被严重摧毁。
1944年起，方丈月海和监院宏超倡修三祖寺。至1946年，院门、大殿、经楼、东西寮房等大小70余间及觉寂塔的修缮。
“三祖山摩崖石刻”现存11幅，主要集中在达摩崖壁，其中有宋黄庭坚、明御史大夫李元阳题刻四幅。“山谷流泉摩崖石刻”现存三百余幅，其中早的一为唐文学家李翱题刻，一为唐三州刺史李德修题刻；宋朝题刻有一百幅，以王安石、李师中、苏东坡、黄庭坚等刻记为名，内容直接涉及三祖寺的有六幅。1981年，安徽省人民政府公布“山谷流泉摩崖石刻”为省重点文物保护单位。
在这全长500余米的河谷中及其两面崖壁上，刻满了自唐代以来1200余年间的摩崖石刻300多方，能辨认的有280多方。石刻诗、文、题、记齐全，行、楷、隶、篆、草俱备。这是考证1200多年间有关历史的天然档案馆，又是直接瞻仰、欣赏历代名家文采、书法的博物馆。
正月初一，数万计的社会青年拥到三祖寺“出行”，拜佛年，图在新的一年里吉祥平安，万事亨通；
九月初九，金秋重阳，一些老人结伴登山礼佛，吟诗唱和；
三月初三，民间传说是三祖僧璨的诞日，江南、江北皖、鄂等省的信徙，结成一支支数百人的“朝山”队伍，专车来三祖寺。礼谒三祖，谓之“百子香”。
三祖寺佛事活动的开展，均按禅林规制举行，并同时开展汉地佛教寺院共同开展的佛事活动，以及对外交流活动。在三祖寺的佛事活动中，尤以阿弥陀佛的圣诞日纪念活动——“弥陀七”为隆重，规模大。佛教徙的“三皈依”、居士的“五戒”也都在“弥陀七”这场佛事活动中举行。
1990年，全国政协副主席、佛教协会会长赵朴初亲临视察，对寺宇建设十分满意，并嘱咐宏行法师：“在你手上要把《三祖寺志》修起来。”宏行法师为不辜负朴老的关注，经过五年的努力，十八万字的《三祖寺志》书稿得以完成，朴老得知这一喜讯，立即挥毫题写《中国禅宗三祖寺志》的书名。赵朴初会长转赠给三祖寺一套汉译缩印本《大藏经》，珍藏在藏经阁内。从此，三祖寺有了一套完整的佛教经典而传延后世。
2000年欧洲统一佛教协会会长、法国佛教朝圣团团长志明法师率领法国、德国、挪威、比利时、荷兰等九个国家佛教人士一行八十四人，来三祖寺观光、朝圣、礼佛。2003年五月台湾佛教界一行五百多人，前来寻根觅祖，礼佛敬香。三祖寺从来没有像现在这样香火旺盛。
