阿贵庙是西部地区最大的红教寺庙，是印度僧莲花生，于清德宗光绪三年所建。阿贵的意思为山洞，因为此处奇洞攀岩，以洞穴为佛殿而得名阿贵庙。由清庭理藩院改名为“宗乘寺”。
阿贵庙为典型藏式风格建筑，藏名为“拉西仁布·嘎定林阿贵”，清廷赐名为“宗乘寺”。莲花生大师曾在此修行、讲法，他的雕像矗立在庙宇之上。民国元年(1912年）蒙藏委员会赐予“满、蒙、藏、汉”四种文字雕刻的“宗乘寺”匾额。
阿贵庙建有大雄宝殿及左右配殿、马头金刚殿等共981间，殿旁有佛塔一座。阿贵庙的大部分殿宇在文革时期被烧毁。现在的大雄宝殿、金刚殿和白塔是后来恢复重建的。大雄宝殿是佛寺中供奉佛祖的大殿，是整座寺庙的核心建筑，也是僧众朝暮集中修持的地方。大雄宝殿中主供奉释迦牟尼佛像，还供有莲花生大师。大雄宝殿的左右为配殿建筑，西侧是金刚殿。寺庙旁有转经筒，来往者可以顺时针转上一圈。
在大殿周围的悬崖峭壁上有5个奇特的天然岩洞，分别是莲花生洞、上乐金刚洞、护法神洞、仙女洞、洪羊洞。每座岩洞都流传着神奇动人的传说。
莲花生洞（阿贵洞）：莲花生洞供主神莲花生塑像，喇嘛们设坛、供奉、诵咒灌顶就在这里举行。洞门右侧有一巨大的钟乳石柱，堪称镇洞之宝。洞门外的一块巨石上留有一枚脚印，传说是莲花生驱魔降妖时留下的。
上乐金刚洞：供奉上乐金刚，是藏传佛教密宗本尊神，其像为双尊。上乐金刚有三面脸，每脸三目，十二臂，主臂拥抱明妃金刚亥母，余臂持物，双足踏人。塑像为上乐金刚与明妃金刚亥母相抱。
仙女洞：里有白救度佛母和绿救度佛母塑像，是藏传佛教女神，是观音化身的救苦救难本尊。以上两尊为藏王松赞干布的两位夫人，分别是尼泊尔公主和文成公主，白度母是尼泊尔公主，绿度母是文成公主。度母以颜色区分，以白、绿度母最为常见。此外，洞内还供有21个仙女塑像。
护法神洞：洞里主神为护法神，即迦兰神，是守护寺院神的通称，共有十八神。
洪羊洞：迦楼罗天神的供养处。迦楼罗天神是八部天龙之一（佛教中的八部众是八部天龙的别称，是佛教八类护法天神），是守护佛教的第六天神。一般来说，迦楼罗以人面鸟身、鸟面人身或全鸟身形像出现，华译为金翅鸟。洪羊洞呈弓形，在洞壁上有两个1米见方的洞穴，均用石头镶边，传说里面有焦赞、孟良两尊塑像。两人因盗杨继业尸骨有功，故立塑像供奉。一进洞口几米处分上下两层，上进下出，进里面下台阶，据传台阶下有深洞，由大石板盖着，可是没有人考证过究竟有多深。洞里有红土又称“玉光土”，信徒们往往取而治病，也是蒙医常用的药材之一。
传说莲花生曾到过洛阳和五台山，返回途中，於公元774年（阴历）九月二十二来到阿贵庙。当时这里没有庙宇，只有山洞。传说五个洞中居住着一母所生的5个少女即5个“杭瑞玛”（仙女）。她们在这5个洞里分别於九月二十五招待了莲花生及其随行人员。以后将每年的（阴历）九月二十五，定为迎接莲花生祭神日。次年即公元775年的（阴历）七月初十，莲花生一行离开了阿贵洞，此时四周民众集会欢送莲花生等人，於是又将每年的七月初十定为欢送日。至今阿贵庙每年七月初十，九月二十五的两次大型庙会就是从那时开始的。相传莲花生在此居住9个多月的时间里，把这里的妖魔鬼怪全部用法术镇压下去，还亲手塑起一座2尺5寸高的莲花生像。并说：“你们每当见到这尊塑像就如同见到我一样，一切妖魔不会伤害生灵了，会给当地民众消除灾难”。莲花生等在接受杭瑞玛们的欢送时还说：“我们西方有个'乌日斤杭瑞'地区，你们这个阿贵可叫'亚吉拉，杭瑞玛阿贵'”。“杭瑞玛阿贵”也从此得名。当时在这山沟里还居住着叫柯宝日·达日克的老俩口，有个儿子叫落本赞达日。莲花生对他说：“接收你为徒弟，将密教传授给你并要你传递下去”。洛本赞达日接受了这个旨意。但此教必须“真实”言教，学到咒术才能为百姓除害。于是，洛本赞达日历尽千辛万苦到印度萨齐巴地方学经，经过几年的努力，终于受授了法术，学到了密咒，回到阿贵庙后成了第一个传徒接代的师傅。
