观音庵由正殿、配殿、观音阁及仓库等组成，占地面积1065平方米。正殿为释迦牟尼殿，座东面西，面阔五盈，为硬山式抬粱建筑结构，青瓦屋顶，建筑面积105平方米。正殿左右各有配殿五间，建筑面积170平方米。左配殿为禅堂、客厅；右配殿为生产用房。后五间草房为仓库。庵院西南跨院有观音阁一楹，为单檐歇山式结构，青瓦屋顶，建筑面积30平方米。观音阁内供奉南海观音菩萨，菩萨塑像坐南面北，俗称倒座观音，亦即倒座庙称谓之由来。
传说该庙肇建人之一的孙明远曾得一梦，梦中见南海观音身着白衣，自南海边飞驰而来，面北座南坐于石上。次日，孙明远与他人说起，众人皆说其与佛有缘。孙明远遂起建庙之意。随即开始筹款建庙。殿宇修竣后，置南海观音塑像与梦中境况一般，故有此辽东独绝的倒座观音，成为大孤山古建筑群的又一奇观。观音庵对联令人叫绝：“问大士何故倒座，叹世人不可回头。”上下联以世人与观音的一问一答，充满意趣和智慧。
观音庵原名观音庙，当地人也称之为观音会、倒座庙，始由孙明远、李伦二人肇建庙宇，但事隔久远，年代不详。至清咸丰九年（1859年）又有周长盛等重修，历时一年修竣，时称观音阁，一九四一年改名观音庵。观音庵右侧立有清代“重修观音阁碑记”石碑一座，立于咸丰十年（1860年）八月。碑文为阴刻楷书，碑左题“重修观音阁碑记”，碑文由山东文登县张雨撰写，文中记载了大孤山修建观音庵的历史，及先称观音庙，后称观音阁名称演化的过程，文后附有募化修建人员周长盛、孙秉中，住持邹空嶢等人的姓名。浙绍会稽山严持中书丹。
初期，观音庵殿堂被砸，佛像俱毁，庵内六名尼姑被逐。一九六七年至一九八五年该房产归孤山镇房产管理所接管，出租给当地居民居住。一九八五年后，政府落实宗教政策，该房产重新划归宗教界。观音庵重拾香火，并日渐兴盛。
