战国时期
开封历史上最早的城墙，是建筑在2300多年前的战国魏都大梁城。与今城墙部分重合，稍偏西北。公元前365年，魏惠王为了实现控制中原之目的，把都城由安邑（山西省夏县）迁于此地，并修筑了一座大梁城。
唐朝
唐建中二年（公元781年），时任永平军节度使兼汴州刺史的李勉重筑南北朝时的汴州城，是如今开封城墙历史的开始。据《北道勘误志》等文献载，扩建后的汴州城周围达20里155步，有城门7座，把汴河圈入了城内。这次重筑后的汴州城，实际上奠定了今日开封城墙的基础。
宋朝
公元960年，宋朝定都开封，史称东京城，历经九代帝王168年，形成由外城、内城、皇城三座城池相套的宏大城郭。开封城墙作为东京城重要组成部分（皇城、里城和外城）之一的里城，不断得到增筑，其规模壮阔，气势雄伟。据史记载：北宋后期，东京外城周长50里165步，高4丈，宽5丈9尺，居住人口达150余万。经金、元、明、清各朝代，开封城几经战火、水患，一代名都逐渐湮没于历史长河。
金代
北宋灭亡后，金朝将都城迁往汴京城。金宣宗完颜珣将开封城向南北两面分别进行了扩筑，使北宋内城向南扩了350米，到今大南门一带；向北面扩筑了750米，至今开封城墙北段。金人扩筑后的东京里城，确定了今日开封城墙的规模。
清道光二十二年（1842年），重建开封城墙，相比较康熙元年清代城墙，重建的城墙城门升高丈余，城墙加高至高8米，加宽至5米，周长由原20里又190步加长至14.4公里，青砖结构，与东京内城规模大体相近。虽不及宋都之宏大，但仍为仅次于明朝南京城墙的中国国内现存第二大城垣遗址。
明清
开封古城历史上曾多次被淹没，明太祖洪武元年（1368年），重修开封城墙，改土城为砖城。城墙周长20里190步，高3丈5尺，宽2丈1尺；城濠深2丈，阔5丈。
清康熙元年（1662年），在明代开封城墙的基础上重修城墙，城门五座，"营建如旧制"。城墙周长20里190步，高3丈5尺，宽2丈1尺，一如明制。
清道光二十二年（1842年），开工重新修建开封城墙，历时一年半建造完成，重修的城墙较清康熙元年建造的清代古城墙，周长由20里又190步加大至现状，城墙加高、加厚，城门升高丈余。
近代
数百年来，开封城墙历经水患与兵燹。整修后，往日颓毁的残垣已不复见，初步再现了历史上壮观的雄姿。1997年，开封市动员社会各界人士，群策群力，修复古城墙。在短短的几个月里，共募集100多万元。不到1年，其标志性工程——大梁门便巍然屹立在城墙的西端。在以后的时间内，市政府又多方筹资，修复了安远门（北门）和新门（小南门）。修复完毕，开封城墙将以更加完美的形象展现在世人面前。
唐建中二年（公元781年），始建大梁门，俗称西门。明初，朱元璋升开封为北京，为明朝之陪都，改西门为大梁门，今大梁门系于1998年重建，是开封市唯一重建的一座城门，成为古都的重要象征。城门基采用青砖结构，设拱形门洞三个，城楼采用重檐歇山式建筑风格，雕梁彩绘，古朴典雅，雄伟壮观。城门北侧现已探明多层古城马道，为开封独特的城摞城历史，提供了又一重要佐证，现已被辟为古城墙博物馆。
现如今开封城墙周边全部规划成环城绿地公园，每天古城市民前来换环城公园运动跑步、抖空竹、河南豫剧、交际舞、北宋陀螺等各种民俗活动。
2014年，开封城墙列入“中国明清城墙”申遗项目。
乘11、13、18、21、30、31、34、37路公交车在大梁门站下车。
为解决由西边进出入开封城墙内，缓解东西主干道大梁路的交通压力，尤其是景区的交通拥堵问题，2007年开始，开封市政府计划修建一条穿过西边北段城墙的主要道路。因为工程涉及穿过现存的古城墙墙体，因此工程引起社会各界的广泛讨论。当地论坛，甚至出现了“穿墙派”和“保墙派”。各种民间方案意见层出不穷。
最终于2010年，当地政府制定了道路下沉的穿墙建设方案，此路（金耀路）于当年完工通车。
