据传，晋时玉山茶农过着“半年种茶，半年挑盐，无米过年”的困苦生活，若遇动乱年代，发生天灾兵祸，茶叶销路受阻，生活就更加艰辛。有许逊者，以传播道教文化游历于此，喝到当地特醇香的山茶而流连忘返，他见茶树遍布山野，茶农为茶叶堆积成山卖不出去而愁容满面，就住了下来，为茶农解决困惑。他与茶农座谈，研究改进加工工艺，制成“婺州东白”，接着派道徒带上“婺州东白”四处施茶，送各个道观品茶，得到一致好评。从此，四方茶商纷纷前来收购，玉山古茶场“婺州东白”畅销各地。“茶圣”陆羽所著的《茶经》云：“产茶者十三省四十二州，婺州东白者为名茶，大盘山、东白山产者佳，列为贡品”。
宋时，玉山茶农为纪念许逊的功绩，尊称许逊为“真君大帝”，在茶场山之麓建造茶场庙，塑像朝拜，并在茶场庙附近设置茶场。从此玉山古茶场成为榷茶之地，历代设官监之，以进御命，称之为“茶纲”。 元时，因蒙古人入主中原，玉山茶叶交易一度衰弱。到了明代，官府在玉山古茶场设立“巡检司”，对茶场实施管理。茶叶等级分为“贡茶、文人茶、马路茶”等，并产生了诸如“分茶”、“斗茶”等趣味性的品、鉴、观茶游戏，还评出了茶叶质量好的茶农为茶博士。
据记载，明正统八年（1443），玉山茶叶、白术外销获利，有“上半年靠茶叶，下半年靠白术”之说，并形成了以茶为中心的重要聚会——“春社”和“秋社”，当地茶农来到茶场，祭拜茶神，并在茶场内举行观社戏、挂灯笼、迎龙灯、竖大旗等民俗文化活动，内涵相当丰富。 清初，据康熙年间《东阳县志》载：“茶皆官收官卖，官给本钱于民，而后收其茶，民间不得私市。”至清中期，朝廷委派东阳县衙对玉山古茶场进行管理，在茶场内置放 “奉谕禁茶叶洋价称头碑、奉谕禁白术洋价称头碑、奉谕禁粮价称头碑”等碑文。
西端的是茶场庙，它是明代遗存建筑，主脊檐饰有双龙图案，主脊檐、二脊檐上下都刻绘着石灰雕与壁画。历史风雨在上面留下了斑驳的印记，有些壁画已让人觉得似乎是雾里看花。大门上方是周昌霁的手书“茶场庙”石匾。庙为三开间，穿斗式和抬梁式混合结构，庙内供奉着在当地灵威显赫的“茶神”即“真君大帝”许逊。许逊是晋代的道教大师，成语“一人得道，鸡犬升天”，相信大家也都耳熟能详。但这里记载的却是一个被历史遗忘的故事。早在晋代，许逊传播道教，游历至此地，见茶树满山遍野，且质量上佳，而茶叶却滞销，农民生活清苦。在古代，文人墨客之雅总很难摆脱与茶酒风物之干系，于是许逊就在此地留了下来，与茶农一道研究加工工艺，制成“婺州东白”，并派出道童到各庙庵施茶，受到各方一致好评。从此，“婺州东白”畅销各地，到唐代，“婺州东白”被朝廷列为贡品，并被收入陆羽的《茶经》之中。后来，“茶神”许逊就被千千万万的人顶礼膜拜，千百年来不从间断。每年春茶开摘，茶农便奉上第一株新茶，先祭“茶神”；秋收后，茶农便来拜谢“茶神”，于是便形成两个以茶叶等物质交易、茶文化、民俗文化表演为中心、影响巨大的传统庙会——春社和秋社。
与茶场一墙之隔的是茶场管理用房，是古时朝廷官员在此征税办公的场所。而今，管理用房已变成了“观音禅师”。据说，早在宋代，这里就已经建有茶场和茶场庙，设有“茶纲”，到清咸丰二年，朝廷委派东阳县衙管理茶场，立“奉谕禁茶叶洋价称头碑”、“奉谕禁白术洋价称头碑”、“奉谕禁粮食洋价称头碑”三大碑。二00四年十二月，国家文物局古建筑专家组组长罗哲文在详细考查古茶场后指出：“这种古代市场功能性建筑在国内实属罕见，堪称茶业发展史上的‘活化石’，与古茶场密不可分的一系列茶文化令人称奇，填补了我国文保史上的茶文化空白。‘三大碑’说明玉山古茶场除季节性茶叶交易外，平时还有白术、粮食等商品自由交易，反映了综合市场的特性，同时见证了山区经济发展的轨迹。”
从管理用房旁边的耳房转出，古茶场便赫然在目。古茶场在空间上，给人直观的感觉就是一个四四方方的院子。其实她是由“两进、两井、一门楼”组成。前后两进房子均为五开间，中三间为厅堂，两侧为厢房。厅堂、厢房十四榀柱子围成了一个大四合院(即大天井)，均为二层楼房，形式为走马楼。楼上临天井四面是相通的廊，以便于楼上客商往来。楼下为固定摊位及自由交易摊位。大天井里原本有一个飞檐翅角的戏台，听老辈们说，上有雕龙画凤，葫芦定风叉等，精工细致，堪称这里的建筑经典。从中间一进两侧大简易楼梯拾级而上，楼上便是古时观戏的贵宾台。台中有一张旧桌，桌旁放置着一张古色的茶缸，上有茶叶文饰，腹部还有“周顺德记”四字，可见茶缸主人家底颇丰。而古时候，也正是在这台子上，人们开展“斗茶”、“猜茶谜”等游戏时，就少不了这种茶缸。
处处都在向人述说着历史的轮回和沧桑，也正是这些古色古香的东西，经过了时间一遍又一遍的冲洗和荡涤，使自己积淀了深厚的历史文化，绽放出耀眼的光芒，使越来越多的人心驰神往。磐安也看到了文化所带来的巨大力量，正积极开发玉山古茶场的文化内涵，通过规划、保护、开发、引导等一系列措施，真正提升古茶场的整个“古色”品味。副省长茅临生应邀参观了古茶场，《建筑时报》总编赵仁童和建设规划师洪铁城也应邀给古茶场作了详细调研，他们都对如何开发玉山古茶场提出自己宝贵的建议。玉山古茶场的开发，将给这个依山傍水、玲珑精致的小山城增添了浓郁的历史文化色彩，大大增强磐安历史文化内涵。
这种集茶叶生产、交易及茶文化内涵于一体的茶场遗址，在全国独此一家。玉山古茶场的完好保存，对于研究茶叶生产的历史传承和进一步挖掘茶文化内涵及古代的社会经济发展都具有重要意义。 磐安将在茶文化上充分挖掘，努力打响玉山古茶场文化品牌，使磐安神奇的山水和文化走出深闺，成为浙江中部的旅居胜地，成为国内旅居业中的一朵奇葩！
2006年05月25日，玉山古茶场作为清代古建筑，被国务院批准列入第六批全国重点文物保护单位名单。
