山西、陕西商民经商历史很早，但作为影响全国经济的强大势力却是形成于明代。 明末崇祯十五年，开封遭受黄水浩劫，城市如墟，一片黄沙。至康熙年间，汴城始得逐渐复兴。当时商业，以农产品、布匹及日用货品充市为主，大多操在山西客商行帮之手。山西旅汴的客商，遂集资于老会馆街（龙亭东侧）建起一处山西旅汴同乡会馆，简称“山西会馆”。
清代乾隆三十年（公元1765年），改名为山陕会馆，并与新址重新修建。
清光绪末年，改名为山陕甘会馆。
1986年，河南省政府对山陕甘会馆的关帝庙建筑进行整修，并筹备小学的搬迁工作。整修工程由河南省古代建筑研究所等单位负责设计施工。由于水患的淤积，全院地坪下挖60厘米，起土2000立方米，恢复了清代的原地坪。
1988年10月24日，解放开封四十周年之际正式对外开放，成为开封旅游景点。
1995年4月，筹建艺术博物馆。
2001年6月，山陕甘会馆由国务院公布为第五批全国重点文物保护单位。
山陕甘会馆坐北朝南，南北长88.44米，东西宽42米，面积达3870.29平方米。会馆为四合院式布局，主体建筑置于中轴线上，由南向北依次为照壁、戏楼、牌楼、正殿。会馆附属建筑位于东西两侧，包含有左右掖门、垂花门、钟楼、鼓楼、厢房、东西跨院等。
照壁临街，位于会馆建筑中轴线的南端，照壁两侧为左右掖门，与照壁高低错落，构成一个“山”字形的整体。过掖门后，迎面是一座古戏楼，面阔三间，分前、后两部分，前台为“乐床”，用于正式演出；后台为“戏房”，供演员化妆。戏楼两边是东、西对峙的钟鼓楼，过戏楼向北有牌楼一座，为歌颂关羽的情操和品德而建。牌楼两侧为东、西配殿，均为硬山瓦顶，高浮雕花脊。牌楼北即为正殿，是会馆的主体建筑，由三进殿宇组成。前为拜殿，面阔三间，中为卷棚，后为大殿，皆面阔五间。三殿由天沟相连，构成整体，总面积达540平方米。
照壁，又称树屏、照墙、影墙，俗称“影壁墙”，是中国建筑独有的形式，其功能是建筑物前的屏障，挡住外人的视线。
会馆照壁为一字形，位于会馆中轴线的南端，临街而设，沿街东西走向，高8.6米，长16.5米，厚0.65米，分为台基、壁体和庑殿顶三部分，由青砖砌成，檐下全部以砖雕装饰，是砖雕、石雕集中的地方。照壁的背面也都有砖雕牡丹和回字纹框，框内四角有四块夔龙石雕，中心是石雕二龙戏珠，两边是阳雕的忠义仁勇四个字。
台基为青石须弥座，高1.40米，是中国传统的基座形式之一。须弥为古印度的音译，意为妙高，是传说中古印度山名，是人类所居世界的中心，日月环绕此山旋转，三界诸王依此层层建立，以须弥名座，取其稳固之意。须弥座之上为照壁壁体，两面皆砌有砖雕牡丹和回字纹花框，背面花框内的不同位置砌有18条龙纹砖。四角用石雕“云龙捧寿”形成岔角。壁芯为石雕“二龙戏珠”图案，该石雕内为椭圆形，外为长方形，据说这与古人认识天体有关。古人认为天是圆的，地是方的。会馆照壁璧芯的造型正是古人对“天圆地方”说的具体反映。从整体上看，壁体雄伟大方，颇为华丽。壁体之上是砖饰人物、花卉、山水、鸟兽、博古图等，题材多样、技法精湛。砖饰以上为庑殿顶，覆以绿色琉璃瓦。
庑殿顶，是中国古代建筑屋顶等级高形式。其屋面可分前、后、左、右四坡，并分由前、后坡相交的一条正脊及前后坡与左右坡相交形成的四条垂脊，因此，庑殿又称四阿顶或五脊殿。正脊为绿色高浮雕荷花脊，两端均置龙形大吻。大吻又称鸱吻，龙口大开，咬住正脊，它既有较强防水功能，也是正脊上主要的装饰构件。
照壁檐下是各种造型的花瓶、插花、嚣炉、书函、画卷、乐器等砖雕装饰，这些图案不仅装饰性强，而且还是表达人们美好愿望和理想的吉样图案，由花瓶、几案、蝙蝠组成的图案，就寓意“平安是福”；菊花、鹤鸟和芦叶的组成的图案，则寓意“安居乐业”。由两本账册组成的图案，一本是翻开的，一本则是合着在此账本下边，就是说经商要有两本账，一本明账，一本暗账，在此图案的另一面同一位置雕刻的是一把精巧的小算盘，俗话说“算盘一响，黄金万两”，寓示钱财只进不出。
戏楼又名歌楼，为旧时节日、祭祀、还愿、祝寿所用。台上笑，台下笑，台上台下笑惹笑；看古人，看今人，看古看今人看人。”山陕甘会馆的戏楼在“文革”中毁掉，现存的戏楼是将开封火神庙的戏楼移迁于此。该戏楼平面布局呈“凸”字形，分上下两层，下层有一南北通道，供人通行，有行走演出两不妨碍的功能。戏楼两侧有端门，但不常开，人们均从正门入。端门门楼木雕精美，色彩艳丽。戏楼东西两侧有台阶可直达戏台。该戏楼是开封保存下来的一座古代戏楼，甚为珍贵。
牌楼正对戏楼的门洞，牌楼的正面题写“大义参天”。会馆的牌楼是为歌颂关羽的品德而建的。它位于中轴线之北部，拜殿之南面，为三间六柱五楼不出头式，歇山顶。平面布局呈形，三柱一组，三角鼎立，呈鸡爪状，故汴城人士称“鸡爪牌坊”。这种特殊的平面柱网结构，增强了稳固性。牌楼中枢高耸，左右次楼略低。主楼上部檐坡绿琉璃瓦覆盖，正脊为牡丹花雕，中间置一方亭，两侧一狮一象，狮拥莲台，象驮宝瓶，形象逼真，瑰丽之至。正脊两端的鸱吻，剑把上东书“日”、西书“月”。“日”表示智慧，“月”表示善心。牌坊四角楼下的走马板上，还分别绘制了“挂印封金”“刮骨疗毒”“过五关、斩六将”等八幅关羽故事壁画。
资料记载：牌楼明间面阔4.54米，次间面阔1.655米，明柱高约6.30米，径0.48米，边柱高约3.70米，径0.385米，斗口宽0.06米，单材高0.075米，足材高0.125米。
牌楼背面悬挂“流芳千古”匾额。额匾四周为透雕“二龙戏珠”，做工精细。次楼花板上绘有八幅有关关羽的故事彩画。牌楼之每角下面均有垂花柱，凡八根，分别雕刻石榴、佛手、葵果、莲蓬、牡丹、荷花、花篮等。
明柱柱身下段各以三块抱鼓石状夹杆石将柱身外、前、后三面夹峙。抱鼓石表面浮雕“苍龙行云”、“丹凤朝阳”、“云鹤图”以及“狄仁杰登山望母”、“白兔记”等图案。
东西厢房，每侧各有房间八间，分为南北两部分，南面五间、北面三间各为一整体。东西厢房均为硬山顶，灰筒瓦屋面，屋面正脊饰高浮雕青砖牡丹花脊，两端置青砖鸱吻，垂脊为狮、吼、马、羊、鱼走兽，前坡明间上方均砌成“菱”形的黄色枋心，民间称作“黄气冲天”。东西配殿屋檐下边额枋、斗拱、雀替、挡板、垂柱等，几乎遍布木雕装饰。木雕内容丰富，题材广泛，举凡山川树木、花鸟虫鱼、亭殿楼阁、民间故事、人物传说等无不入画。
山陕甘会馆戏楼北侧，中轴线两侧分别为钟楼和鼓楼。东侧为钟楼，西侧为鼓楼。中国古代重镇和规模较大的寺庙都设有钟鼓楼。在中国古代城市中，因在楼内设置钟楼，按时敲钟鸣鼓，向城内的居民报告时辰，因此称为钟楼、鼓楼。山陕甘会馆的钟楼、鼓楼经过战乱水患后依然保存完好，因此弥足珍贵，而且这也是开封市存在的同类古建筑。
山陕甘会馆的钟鼓二楼，均高12.14米，形式相同，平面皆为方形，均为重檐歇山式建筑，上覆绿色琉璃瓦，正脊为行龙花雕，两侧为鬼判系链。檐部额枋是一幅“关公斩蔡阳”木雕画，雕刻人物栩栩如生，共有三层。第一层为砖结构，内设置楼梯可达上层。第二层为木结构，是建筑物的主体，顶层为阁楼。西楼置鼓一面，东楼置钟一口，为原来会馆的实物。东侧的钟楼大门敞开，可以直接登楼，而西侧的鼓楼则大门紧闭。进入钟楼，沿木质楼梯拾级而上来到二楼，一口硕大的钟赫然出现在眼前，这口大钟为铸铁制造而成，约有一人多高，有一处破损，上面有八卦符，钟上还有钟纽为龙兽，传说是龙生九子中的四子蒲牢，好鸣，故为之。明清时期，每天黄昏至次日晨要敲钟108下，表示一年有十二个月，二十四节气，七十二候。此外，在民间还流传着，敲钟可消减烦恼，钟声长鸣以示神灵永存，保佑四方，吉庆瑞祥。
大殿是会馆的主体建筑，也是木雕装饰集中、艺术成就高的地方。牌楼由三进殿宇组成。前为拜殿，面阔三间，中为卷棚，后为大殿，皆面阔五间。三殿由天沟相连，构成整体，总面积达540平方米。拜殿正脊装饰雄狮宝瓶，上书“城圣大帝”四字。大殿木雕分三部分组成，拜殿挑檐桁以至额枋宽1.7米，全部木雕装饰，共分七层，内容包括蝙蝠、云形透雕花纹、二龙戏珠、祥禽瑞兽、花草、图案等。第一层小蝙蝠，俗话说：“蝙蝠，蝙蝠地是福。”第二层为云形透雕花纹，第三层为二龙戏珠。第四层是祥禽瑞兽，如鹿、马、猴、羊、麒麟、大象、三羊开泰。第五层是花草组成的图案，如荔枝、柑桔、仙桃、松竹、梅、兰等。第六层更令人眼花缭乱。喜鹊闹梅、鸳鸯戏水、青蛙卧莲，还有蓉花、葵花、菊花、仙鹤等。第七层在宽约一尺的画面上刻着醒目的二龙戏珠、凤凰牡丹。凤凰在牡丹花丛中振翅欲飞，苍龙腾云驾雾，呈现着一派龙腾凤舞、花枝斗艳的奇观 [13] 。卷棚内额枋亦遍布彩画，中央有一座石案，制作于清嘉庆十二年（1807年），正面浮雕“八仙庆寿”，雕工精细。大殿灰瓦覆顶，绿瓦剪边；殿内朱柱矗立，柱础四布。
山陕甘会馆是“馆庙合一”的建筑，是祭祀关羽的一个场所，又是商人异乡的家园，更是维系商人团结的纽带，也是宣扬晋商信义和道义的场所。
山陕甘会馆的建筑风格鲜明，韵致高雅，尤其是它的砖雕、木雕、石雕技艺，形式多样，内容丰富，题材广泛，堪称会馆“三绝”，呈现出质朴和秀丽、豪放和婉约、粗犷和精巧、沉着和流畅的统一，充分反映了创造者的审美情趣和创造才能，体现了时代风貌和中原与山陕甘地区文化的融合。
山陕甘会馆建筑艺术别具风格，各殿精美的石雕、砖雕和木雕制品，堪称雕刻艺术的珍品，是研究清代建筑史、美术史、民俗史的重要实物资料。
