十二连城为北宋时期杨家将佘太君率十二寡妇征西所筑，但据《元和郡县》记载，十二连城原为隋唐胜州榆林城，始建于隋文帝开皇三年，即公元583年，当时该城地处战略要点，可北凭黄河天险，控蒙古草原，南临中原大地， 进退两易。
古城只剩残垣断壁，与此相映的还有城西侧的秦长城。有关史料载：“蒙恬为秦侵胡，辟地数千里，以河为界垒石为城，树榆为塞”。
考古学家们还从这座古城遗址上发掘出不少珍贵文物。上自新石器时代，下至明清时代都各有一些代表性器物。其中晚唐时期的绿釉陶质小狗和白釉瓷质小山羊，被专家们称为“举世稀有的艺术珍品”。现已陈列于中国历史博物馆中。
2006年5月，十二连城城址被国务院公布为第六批全国重点文物保护单位。
为什么叫“十二连城”呢？按民国十九年《长葛县志》的说法是：“十二连城在县（老城）西北五里，形势弯环，连绵不绝，故曰连城。”这弯环连绵的十二连城，是怎样形成的呢？民间曾有一个美丽的传说：春秋时代的郑国执政子产，为官清正，作风民主，他积极鼓励群众提建议，想办法，发展生产，富国强兵。达到路不拾遗、夜不闭户的境地。他还十分关心人民疾苦，把自己的轿子拿出来，让老弱妇孺过河用。他生不占民利，死不占民地，死后让儿子把他葬在陉山顶上的石头堆里。老百姓对于子产的死非常悲恸，于是在今高庙郭村东，男女老少含泪捧土为子产建台立祠，要让他四时享祭，常留人间。老百姓的这种虔诚精神，感动了天神黎山老母，老母用黄布袋，背了一袋子土，送到子产台上，然后沿着金鱼河慢慢离去，她边走边抖她的袋子，把残留的土撒在她走过的路上。谁知次日天一亮子产台竟长成了一座巍峨的土山，撒落的残土便成了逶迤十余里的“十二连城”。这样的传说，自然是不可信的。
