榉溪村位于大盘山北麓，古称桂川、榉川，四周群山环绕，山川秀丽，环境幽奇。全村现共有360户，计1130人，全部姓孔，为江南孔子后裔大的聚居地。
宋建炎间，端躬及世袭衍圣公端友遭金乱扈驾南渡，后端友寓居衢州，端躬安家于婺之榉川。
据《榉川孔氏家谱》载：“惟婺祖端躬公，官居大理事评事，乃由台抵婺至永之榉川，见其山高水长，泉香土沃，弃华衮之荣而优游自乐，屋于钟山之下而居焉，此南北之所由分而三派之所自始也。”
孔氏家庙由历代朝庭为“孔氏婺州南宗”（也称作“婺州南孔”）即孔子47世孙孔端躬后裔赐建，地址在磐安县磐峰乡榉溪村，现为国家级重点文物保护单位。“婺州南孔”的来源，根据《磐安县志》和明清《金华府志》、《永康县志》，以及《孔氏家谱》的记载，南宋建炎四年，也就是1130年，金兵占领了山东，兖州陷落，曲阜孔林遭受了兵祸。
孔子第47代裔孙、大理寺评事孔若钧和他的哥哥孔若古、侄子孔端友、儿子孔端躬等，护送高宗皇帝赵构离开山东南渡。到了临安，孔若古、孔端友等前往衢州，后来定居在三衢西安菱湖，历史上称为“孔氏衢州南宗”。
而孔若钧、孔端躬父子一家仍然护送高宗皇帝前往台州。到了台州章安镇后，他们辞别皇帝，想到三衢与孔端友会合。
当他们经过榉溪时，孔若钧由于长时间爬山涉水，不胜劳累，不幸生病而逝。
他的儿子孔端躬等，看看榉溪山清水秀，风景优美，又目睹朝庭腐败，奸臣揽权，自感无回天之力，决意丢官弃禄，以草木为伴，自食其力，就在这里隐居。磐安县榉溪村是婺州孔氏南宗所在，是孔子后裔南方大的聚居地之一。
子孙发展很快，“婺州南孔”仅800多年的历史，现在已有2万多人口，遍布于祖国东南各地。
宋宝祐二年，理宗追端躬功德，按衢州孔氏家庙恩例，在榉川南岸杏坛园前建孔氏家庙，赐“万世师表”金匾一块（已佚）。
孔氏家庙坐南朝北，榉溪从前面环绕，遥对金钟山，整座建筑以中轴线贯穿，由门楼、戏台、开井、前厅、穿堂及两小天井、后堂组成。
孔氏家庙建造后，在元、明时期由官府负责进行过较大维修，清初家庙毁于兵燹，现存建筑为清代重修，但也保留了宋、元、明不同时期的建筑风格。
榉溪孔氏家庙较好地保存了历史原貌。除此之外，在榉溪孔家家庙的四周，那由清、民国山区民居错落形成的小街、小弄，同时给人们一种强烈的视觉冲击，在整个孔氏家庙周围荡漾着一种古风古貌。
家庙附近尚有保存完好的孔若均、孔端躬墓，墓旁有当时从山东孔林带来种植的一株巨大桧木。
整个孔氏家庙与榉溪村落及周围的山川环境融为一体，很好地体现了中国古代的哲学思想。
现存孔氏家庙坐南朝北，是明末清初时期的建筑，门口匾额上“孔氏家庙”四个字依稀可辩。孔氏家庙早建于南宋宝祐年间，也就是1253年到1258年之间。当时宋理宗给予“婺州南孔”五级恩典，其中一级恩典就是，在榉溪南岸杏檀园赐造至圣家庙。孔氏家庙从南宋宝祐年间赐建以来，元、明时期多次由政府拨款修建，家庙宏伟气派。清初，榉溪一带发生农民起义，朝廷派兵镇压，烧杀无度，造成“十年不闻鸡犬之声”，家庙毁于兵乱战火。后来，家庙由孔氏族人集资重建，虽然没有当年皇帝敕造的宏伟，但至今保存较为完整。孔氏家庙古朴宏伟，堂构考究，整座建筑由门楼、戏台、前堂、穿堂、后堂组成，左右对称，布局严谨气势恢宏，朴实森严。通面阔21.50米，通进深30.30米，面积880平方米，屋柱多达84根，门楼采用三柱穿斗结构，戏台为轩阁式结构。前厅、后堂是五开间，抬梁式和穿斗式相结合。这里的小天井地面全部用均匀的鹅卵石铺设，还放置了旗杆石。家庙里的柱石有宋、元、明、清四朝的式样，这小小柱石记录了沧桑变更的历史。家庙的后堂中间悬挂着“如在”两字的匾额，其意就“孔子的精神永远流传”。两边是一幅对联，读来意味深长：“脉有真传尼山发祥燕山毓秀，支无异派泗水源深桂水长流”。早先，家庙里还有“万世师表”的金匾一块，但是也在文革时期毁了。现在珍藏的文物还有《孔氏家谱》、至圣先师牌位、吴道子画的孔子刻像拓本等。榉溪孔氏家庙为全国重点文物保护单位。
金钟山和莲花城是“婺州南孔”始祖孔若钧和孔端躬的墓地。南宋绍兴八年，大理寺评事孔端躬谢世，与钱氏夫人合葬。墓前有棵桧木，是当年孔端躬亲手种植的，至今已有八百余年。树高34米，胸围5.6米，枝叶非常繁茂。这棵桧木由孔端躬从山东曲阜带来，移植到这里，它记录了“婺州南孔”长途跋涉的艰难和创家立业的艰辛。仔细看，竟然还能发现桧木上留有动荡年代的子弹孔呢！这些年来，孔氏后裔在这里集资修建了石亭、石碑、石栏，表达对先祖的怀念，同时也为古老的村庄增添了不少色彩。
