府治在今府山之上，县治在今十字街头之右，故城中有县西街，南街（原名县南街或南市大街），县后街等地名，都是以县治方位定名。府县皆有治学，县学在县学街黉序巷，古有鹿鸣书院；府学在府山西麓，故地叫府学里，建有清莲书院（又名正谊书院）。
城池始建于汉代(东汉土墙为屯兵之用，由当时驻军郑平等人首建，而非府城)，现存的府城以唐代为基础，明代重修。原有六门：东称“迎和门”(今称东门)；南称“礼贤门”(今称大南门，俗称通远门，又称光远门)；西称“航远门”(今称大西门，俗称水亭门，又称朝京门)；北称“永清门”(今称北门，俗称浮石门，又称拱宸门)；东南称“清辉门”(今称小南门，俗称前湖门，又称魁星门)；西南称“和平门”(今称小西门，俗称埭堰门，又称通广门)。六门之上均建楼，各为两层歇山，各门形制以水亭为例：城门墙高7.3米，厚12.37米，两侧城墙残长各为30米、20米；拱券高5.55米，宽4.88米，墙基用8层条石错缝平砌，高1.5米，上用砖平砌1.4米处起券，券顶横砌。在迎和、清辉、礼贤、永清四门外包筑月城。明代又在西北角开“西安门”。府城现存西安门、大西门、大南门、小南门、东门及小西门之半，除大西门于上世纪末重新修缮外，各门城楼已圮。城墙残存的约有2000米，残高3—5米，城外护城河基本保存，南湖、斗潭保存较好，东侧城河则有待于疏浚。1989年12月公布为省级重点文物保护单位。
2006年6月，衢州府城正式被国务院核定公布为第六批全国重点文物保护单位，衢州府城是我国东南重镇的实物依据，是研究府城一级城池格局、规模等方面的实物标本。此外，衢州府城在选址和城台形制等方面皆有独到之处，具有很高的历史、艺术、科学价值。
城池是中国特有的人文景观，是城市的缩影。衢州是一座历史文化名城，这座城市有着深厚的文化底蕴，城墙和城河就是历史的见证，文化的背景。
衢州府城历史悠久，明弘治《衢州府志》云：“今龟峰之城亦不知其初建。州人相传，先址土墙而已。”衢州之城建于何时，史志均无明确的记载，尚难以确定，但比较统一的说法是唐以后衢州才正式建筑了砖石城墙。明嘉靖《衢州府志》云：“唐武德四年（621）置衢州建郡治”。有郭必有城，因为自古以来城郭是相依的。唐崔耿《女楼记》云：“衢之城成于龟峰峥嵘岭上”，说得亦十分肯定。所以可以断定，衢州城墙的初建，其时当在唐武德四年建郡治之后；其址当以龟峰、峥嵘岭为中心。自此以后，城墙历经修筑、扩展，形成保留至今的古城墙。
衢州地处浙西，交通便利，自古有四省通衢之美名，此地能控鄱阳之肘腋，扼瓯闽之咽喉，连宣徽之声势，集百越之精华。这里是围棋仙境、军事要塞、文化之邦，是钱塘江上游的璀璨明珠。夏商为“扬州之域”，春秋归越，战国归楚，秦属会稽，汉属东阳，三国从吴，建制于唐，兴于宋，昌于明，盛于清。前后近两千年的发展史。
唐武德四年（621）尉（yu）迟敬德奉高宗之命分婺州（今金华）置衢州，在衢江畔建设城池，初时城中有起伏小丘数座，居高临下，适于防守，城外还有大片土地，宜作良田，供城粮草。始建城时，周边居民皆迁入城圈，并协作建城。当时军民合力日出而作，日落而息，竭力造城。
宋宣和三年（1121）郡守高至临，始在六门之上建设城楼，挖城内河，并开凿城壕，引乌溪江之水环之，自此衢州便有了护城河，水环北、东、南三面皆通衢江，因而船只可入航城池，进水门洞，到达城中各处，这些使衢州城防进一步完善。据清康熙《西安县志》载：“城高一丈六尺五寸，广一丈一尺，周回四千五十步。”
元至正十五年监郡伯颜忽都，沿城旧址，修复年久残败的城墙，共修五百余步，并在北门、东门、大南门和小南门外包以月城。以六门之上再建城楼，使六门焕然一新。这次建设使府城有了完备的城和池。
明天顺年间（1457-1464），曾短时间内封过朝京门（水亭门），并在城西北角文昌阁开挖西安门，自此衢州六门就有了第七个门，此后明清时期又修葺城垣百余次，由此奠定了衢州的基础。
衢州府城一直是保护完好的城防，民国五年（1916）以前还曾对城墙进行修葺，而第一次的破坏就是在解放前的民国时代，当时的县长叫王超凡拓宽上下街，新城门就是在他手上打开的。
衢州府城从那以后就进入了20世纪的时代变迁，之后由于五六十年代大搞农业，大兴土木就大规模的遭到了破坏。
城池核心是城隍和城郭，一个完整的城池必然少不了由城墙、城壕、月城、城门、城楼等部分。
城隍，道教中负责城池的地方神，也指干涸的城壕。
城郭，城指内城墙，外城墙为郭。
城墙，也叫城垣(yuan)，是城防的主体。
女墙（指城墙上凹凸的短墙）、城堞（包围月城的城墙，也叫城垛）组成。
城壕，也叫护城河，环绕城外的水体。
月城，也叫瓮城，城门外用以屏蔽城门的小城，月城的门称城堙。
城楼，建于城门或城墙之上的楼。
城阙，城门两边的望楼。
城厢，指城内和城门外附近。
城根，靠近城墙的地方。
城关，城门外靠近城门的一带地区。
吊桥，架在城壕上方便行路的木制斜拉桥。
现衢州府城还保留了部分城墙和除北门之外的其他城门，以及周边的护城河。东门，又名迎和门、紫金门，门外有青龙码头，新任官员都从此入城，门外为七里街，大概因门外有一送别亭名七里亭之故。为市区和机场的分界线。
小南门，俗称通仙门，又名清辉门、前湖门，据传住在仙霞岭、烂柯山的神仙在此出入频繁。而且在小南门附近有位恶妇坏事干尽，神仙怕她，所以三天两头来治她。原门上有魁星阁为衢州八阁之一，传说天气晴朗的时候在城楼上能看见烂柯山，门外有魁星街。
大南门，也叫礼贤门、光远门，此门名得礼贤，原因有二，一说衢州建城官员尉迟敬德，曾在此门外迎接恩师，意为礼贤下士；又一说江山县曾经称作礼贤县，门通礼贤故得名。城门附近有空旷土地俗称花街头，是因十五闹元宵的队伍都集中于此，并由此地进城。门外有街名曰礼贤街。
小西门，又叫通广门，古时城门外埠头众多，船家云集，走水路可达苏杭，经大运河更是可通全国。由于保护不善，解放后，门拱坍塌，现有城墙尚保存。门外南侧有衢州三塔之一的铜塔，为铸兵器，毁于太平天国时期。
大西门，又称水亭门、朝京门，水亭为门内街名，兴许是城门外的卷雪亭，常被水漫，故作水亭。在这一区域是城中水患的又一重地，古有“水亭街，街停水，水亭街上涨大水”的句子。城门上有楼名曰碧春楼，又名西胜楼，是衢州九楼之一。门内天皇巷有衢州三塔之一的天皇塔，由于年久失修，已于五十年代中期拆除。
西安门，为明朝中后期才开的新门，位于城区西北角，门面较小，门内有文昌阁为衢州八阁之一，门外是烈妇祠，为表贞洁烈女而建。附近还有衢州三塔之一的铁塔。
北门，又名拱辰门、浮石门，门外有拱辰桥（北门桥），古时外面为浮石街，此门已于五十年代时拆除。
其下方的小河为斗潭的东出水口。城墙内原为衢州名胜菱湖所在地，湖域面积逾千亩，揽得一方盛景。湖南岸就是孔庙，附近有止马湾，为水体的一部分。清军政大臣左宗棠任浙江巡抚期间，平复太平天国后便在城中大兴农业，将菱湖开渠出水，填湖为田。
新城门，是民国初期为了方便交通，把上街头上的城墙扒去，并拆除了附近拦路的土地祠，那打通的城墙部分就叫做新城门。从此上下街被打通，成了衢州主干道，解放后还是320国道的一部分。
铁衢门，早些年在环城东路拐角的地方还能看到，那是90年代建的景观门，旧城改造，府山扩建后就拆除了。
南湖，这是衢州人熟悉的一条护城河了，河上原有大南门、小南门两座吊桥，现已经都改成钢精水泥桥了。
斗潭，是北面的护城河，保存较好，所谓斗潭就是说潭大如斗，是指斗潭小的原因，其实斗潭不小，全长750米，平均宽度也在25米以上。
西溪衢江，是衢州西面天然的屏障，故名西溪、濲水、信安江等。也衢州水运的主要商业航道。宽可大二三百米。
东濠，濠为护城河，原先的水运河流青龙码头已经不在了，剩下的是被分割成的一块块鱼塘，还有待疏浚。
