据清初纂修《郴州志.建置部.寺观》记载，唐初李世民为秦王时遣使建造“柏山寺”，因满山皆柏，遂取柏山为名。相传柏山寺塔的建造与李世民、李隆基平定突厥的历史事件有关，当为敕建皇家佛塔，历岁月沧桑，在宋初又予重建，距今1000余年。
柏山寺塔，又名直罗塔，属宋代建筑，国家级重点文物保护单位，该塔收分柔和，秀丽端庄。
塔为十一级八边八角形密檐式砖塔，通高43.2米，底周长29.6米，每边长3.7米，直径9.1米，塔身底层正南辟拱券门，内筑边长2.3米的小方室，方室顶部叠涩收顶；壁面作仿木结构三间，隐出倚柱、阑额，其中二至五层饰平座栏杆；各层均东南西北设有券门或券龛，券龛两侧为卧棂窗，券龛内置石雕菩萨造像，1980年仅余的第三层七尊罗汉和四尊天王、武士像、罗汉完整者38厘米，天王像高68—87厘米，形神兼备，堪称宋代石刻艺术佳品，现存于陕西历史博物馆和鄜州博物馆。
在该塔未辟券窗的塔面上，饰卧棂窗并嵌有碑碣，镌刻着布施者姓名及功德，柏山寺塔檐下为三抄六铺作斗拱，补间斗拱为三抄偷心造，斗拱造型密集而华丽，塔顶残损，塔刹无存。
