历史上的一些典籍，对南武城的称谓有四：南武城、武城、南城、南成。不同史籍对该城的称谓不同，有些书籍在不同卷次里也有不同的说法。根据古汉语的行文规则可知，武城、南城、南成均为南武城之省笔。
根据史料考证，南武城的建城时间在东周中期的公元前554年（鲁襄公十九年）。此时，已处于春秋末期，诸侯割据造成了周王朝内部日趋动荡不安，鲁襄公为抵御齐国而在这一战略要地筑城。据编年体史书《竹书纪年》载，公元前427年（周考王十四年），作为鲁国“三桓”之一的季孙后裔不甘心臣服鲁国而自立费国，南武城遂为费国所并。战国时期曾被齐国占领，成为齐、楚两国边境上的要隘。据《史记·田敬世家》载，公元前333年（齐威王二十四年），齐王与威王斗宝时说：“吾臣有檀子者，使守南城，则楚人不敢为寇，东取泗上十二诸侯皆来朝。”将南武城的守将檀子喻为国宝。公元前256年（周郝王五十九年）南武城随鲁国一同被楚国吞并。南武城，在秦代属琅琊郡。西汉属东海郡，为侯国（《汉书·地理志》称南成），城阳共王之子刘贞被封为南城侯，王莽时位绝。东汉置南城县，至北齐时并入南武阳县。南武城从东周到东汉，有着500余年的辉煌。
南武城依山傍水，地处要冲，自古就是兵家必争之地。据《左传》载，公元前565年（鲁襄公八年），吴国进攻鲁国，就是先占南武城，然后挥师直抵泗水，威逼鲁都曲阜。公元前519年（鲁昭公二十三年），“邾人城翼还，将自离姑，武城人塞其前。”驻武城的鲁兵将邾人全部俘获。公元前487年（鲁哀公八年），“吴伐我，道险，从武城。”西汉琅琊人樊崇率赤眉军占领南武城，并以南武城为依托与官兵周旋。明末清初的农民起义领袖王肖武占领南武城自称“九山王”，在此坚持斗争达十数年之久。
南武城自古山川形胜，钟灵毓秀，人才辈出，文武兼备。该地是春秋战国时期儒家一代传人“宗圣”曾参和孔子另一高足澹台灭明的故里。孔子的得意门生——子游（言偃，字子游）曾任武城宰。据《论语·阳货篇》载，一次孔子到南武城，听到弹琴唱歌之生不绝于耳，看到一片繁荣景象，于是对子游开玩笑说：“割鸡焉用牛刀。”子游认真地说：“昔者偃也闻诸夫子曰：‘君子学道则爱人，小人学道则易使也。’”孔子忙说：“二三子！偃之言是也。前言戏之耳。”可见，南武城地区的文教事业已相当普及，教育已在平民中展开。
脍炙人口的“曾子杀人”、“曾子杀猪”、“慈母投梭”、“斩蛟投壁”等故事被世代传颂，在国内外有广泛的影响。
西晋著名的政治家、军事家羊祜和东晋著名书法家羊欣的故里都是南武城，官修《晋书》对此有载。在南武城故城遗址东边有曾点墓和澹台灭明墓，昭示着该地历史的悠久。
清代文人杨仪廷在《咏怀古迹》组诗中谈南武城故城遗址时说：“当年此地起弦歌，以武名城意若何？百里岩疆资保障，四周山势逼嵯峨。斩蛟奋起畸人剑，投杼偏停慈母梭。赖有勾吴贤邑宰，两言学道总无颇。”（清光绪版《费县志》卷十三第二十五页）
