世传晚唐道士施肩吾(即华阳真人)曾一度由洪都(今南昌)西山来到赣州，与真人刘继先共同修持于此观。宋治平年间(1064～1066)英宗曾赐观额，明永乐年间(1403～1423)翰林学士解缙曾书“玉虚观”额。明初，刘渊然(赣县区人)大真人将此观立为修持之地，遗下四代(即刘渊然、刘继先、刘明清、刘子英)修持立功。修持名曰：“上士修持，升为天宫；中士修持，南宫立仙；下士修持，在世长年”。观内建有丹炉、丹台和丹井。当时玉虚观由皇帝御封道官掌管，并受龙虎山张天师节治。清代，刘子英道士设玉虚观为府观，掌管赣南道教事务；立阴阳学执管道纲，焦道士主持观内阴阳法事功课。民国时期，在此兴办小学。解放后，仍为水东小学用地。1985年赣州市政府决定折价归还，1989年在水东万松山(又名仙山)重建玉虚观，并由方业儒道长负责筹建工作。1990年6月竣工后经批准开放，由方业儒任主持。同年农历7月7日，方业儒主持隆重的玉虚观开光庆典。出席庆典的有宗教界人士和信教群众300多人。开光之后，先后接待北京、上海、福建、广东、香港、台湾、美国等海内外道教信士3000多人次。
新建玉虚观为一栋二层楼的殿堂，楼下正厅是三清官，上书“清绝尘嚣赣南无双福地，高凌云汉虔州第一仙山”。三清圣像两旁列有四位神像：左为朱元帅、王灵官；右为马天君、殷元帅。三清官左为“宗师堂”，右为“追思堂”。楼上：中为天师殿(供张道陵)，左为万寿宫(供许逊)，右为纯阳殿(供吕洞宾)。后楼下为财神殿。玉虚观已成为赣州地区道众的活动中心。
观门为八卦形石门，两侧石刻楹联，文曰：“三清古道千秋业，四要玄机万世师。”两尊青石雄狮踞立两旁，状似谛听钟声，纵览云海。朱红围墙，上书“德配天地，道法自然”。进玉虚观即至观内正殿葛仙殿（又名太极殿）。八卦门正中上方仿宋书“大葛仙殿”。殿深29.2米，宽17.0米，建筑面积576平方米。大殿前后三进，正中有24根朱红圆柱落地，柱础为八角形石雕。人字形递进式五层木板倒壁。宏制巧构，宽敞堂皇；雕梁画栋，朱漆描金。栋、梁上浮雕为道家神仙故事和“九龙仰香炉”等图案，寓“九龙窜顶”之意。
大殿屋项系铸铁瓦，铁瓦长方形翘头，每块长40厘米，宽24厘米。铁瓦有两类，在翘头上一铸“大葛仙”三字，一铸“名山”两字中夹牡丹。此瓦系1939年大殿火毁后重建时，为防火患及大风而铸造。殿上方有神龛高4.0米，宽4.4米。滚龙抱柱长方形匾额红底金字，题曰“太极左宫”，匾额四周雕盘金龙，匾额顶部悬雕一描金展大鹏鸟。龛两侧有联：“葛水长流神泽达，仙山持立圣光明。”神龛正中端坐“葛仙翁”神像，金面、黑须，双目平视，头戴双翅搭肩宰相帽，身着金丝蟒袍系玉带，其后有仙翁立行像，装束神态与坐像相同。
神龛两旁站立彩塑马（灵耀）、赵（公明）、温（琼）、关（羽）“四大元帅”和风、雨、雷、电诸神像，威武勇猛，森严肃穆。神龛前为香案，仰视有八卦形蜂窝藻井。殿正中有青石浮雕九龙金阶，金阶两旁竖立石柱，柱镌：“大葛青云路，仙翁紫金街。鹤岭驻仙踪，山峦撑突兀，朝拜须清静，登临自健松。”等字样；柱顶端踞立石象、石狮。大殿横梁上和庭柱上遍布匾额楹联。整座大殿金碧辉煌，气势宏伟。
葛仙殿左侧为“老君殿”，右侧为“观音殿”。1994年，两殿侧各建二屋飞檐八角荷叶形歇山式钟鼓楼。楼高10.5米，内悬铸铁钟。钟边有八卦图案。种身四周铸文“帝道遐迩，皇图共固，风调雨顺，国泰民安”（民国七年，1918）。鼓直径80厘米，夏布鼓面。夏布浸桐油后再刷漆，以代皮鼓面，此事颇有来历（见本志“传说”章）。现用夏布鼓为1981年4月置。在葛仙殿西侧，与大殿毗连处是三官殿。该殿建于四十年代后后期。4榀，画栋雕梁有朱柱23根，朱红穹形椽架顶棚，八卦形镂空藻井，青石神台青石浮雕福、禄、寿三星及文房四宝图案。中塑天官、左为地官、右为水官神像。神台着置一石香妒。出三官殿顺山势而下即至灵官殿。该殿木石结构，石门，朱扉。系三官殿同期建筑。殿前有画梁雕柱走廊。门前一石香炉。殿正中塑王灵官、金甲金鞭，神威凛赫。左塑药王，右塑蛇母娘娘神像。正中上方横匾，黑底金字：“灵官玉殿”。两侧有楹联。
出灵官殿沿百步岭石阶而下即至地母殿。1984年毁于火，1991年修复。土木结构，歇山式，八卦门。神龛内中塑地母元君，左塑天母元君，右塑水母元君。殿左侧为鬼谷仙师（又称梦神），殿右侧为五谷天君等神像。出地母殿沿石阶而下即至玉皇殿（又称玉皇楼）。1984年毁于火。1991年8月21日奠基，1992年12月3日竣工。钢筋水泥框架结构，两层，仿古宫殿式，黄琉璃瓦，朱红圆柱，红墙，飞檐翘角。栏柱三面雕花。气势恢宏，富丽堂皇。
建筑面积374.76平方米。楼高11.3米，长12.9米，宽9.6米。门前开铸铁香炉，系民国二十七年（1938）所置。
玉皇殿一层祀玉皇大帝。神像端坐于盘龙描金神龛内，前有金童、玉女。龛正上方一匾额，黑底金字“金阙云宫”。座前，左塑葛孝先、萨守坚，右塑张道陵、许旌阳，合称“葛、张、许、萨”四信真君站像，传说均为天枢内阁成员。殿门上方一大横匾，亦黑底金字“玉皇大帝”，两侧有联。二楼祀大清道德天尊、玉清元始天尊、上清灵宝天尊，又称“三清阁”。
玉虚观周围建有三座山门：观西面为西山门，片石单面结构，白粉墙、椭圆门、翘角。门上方扇形框正面题“三清在即”，背面题：“道超德茂”。观东面为东山门，建筑构型与西山门一样。上书“葛仙山”三字。观北面为北山门，在山北区进口处。建筑造型与西山门相同。上书：“咫尺西天”。进此山门即到龙舌池、慈济寺。
出东山门半里，登山横越七华里即到东半山爷殿。此处系一摇篮形山谷盆地，方圆开阔，日照充足，山水宜人。爷殿即建于盆地南偏西端。片石、土墙结构，4榀厅堂。中祀葛爷（葛玄之父），左塑葛娘（葛玄之母）、观音、三官、地母神像，右塑天师张道陵、洪钧老祖、道德天尊、龙王等神像。据说此处原有观音殿、三官殿等12栋庙宇，“文革”中夷为平地，于今只见屋基。爷殿系1992年四乡百姓募建。翌年，又在路口右侧建灵官殿。
在葛仙山西北半山处建有娘殿。系民间为纪念“葛仙翁”之母所建。传说始建于明末，然史无稽考。几度兴废。今貌为4榀木瓦结构平房，系1986年4月上饶“三官会”众信士所建。屋顶飞檐、翘角，有双龙抢珠立体浮塑。殿门两侧有楹联，文曰：“娘德共爹恩定省金仙思复育，殿成同像塑往来香客谒虔诚。”殿堂正中木雕朱漆、描金神龛，两侧有联，文曰：“嗣汉连绵传万代，天师道法保黎民。”中塑凤冠霞帔、慈眉善目中年女神，乃“葛仙翁”之母。上悬匾额，篆刻“圣母元君”。左侧神龛内塑葛父，官帽、蟒袍、白须。直匾书曰“妙道高玄”。右侧神龛内塑“送子观音”神像。殿门前一小坪，经此沿石阶下山。坪右侧建有一栋两层楼房，为葛仙山寺观管委会于1996年所建，为香客提供饮食、住宿服务，兼售香烛、鞭炮、旅游纪念品等。在山北，古柳杉树侧，建有龙王殿。该殿面对龙舌池。瓦顶、土墙。内奉祀龙王，有石香炉、香烛台。
玉虚观现存藏经有：《道德经》、《灵宝经》、《葛仙经》、 《玉皇经》、《地母经》、《三官经》、《灵官经》、《观音经》、《受生经》、《金刚经》、《莲华观音经》、《高皇观音经》、《北斗经》、《太阳经》、《太阴经》等14部经籍和《早、晚功课经》1部。
