据史料记载，开封铁塔的前身是座木塔，位于开宝寺福胜院内，始建于太平兴国七年，也说是公元982年，建成于宋太宗端拱二年，谓之福胜塔，宋真宗大中祥符六年，“有金光出相轮，车驾临幸，舍利乃见，因赐名灵感塔”，是宋太宗用来供奉吴越国进贡的阿育王佛舍利用的。
铁塔的建造开始于北宋仁宗皇佑元年（1049年），但何时落成，至今尚未发现有确切记载。这是铁塔历史上的一大悬案。据河南大学教授魏千志考证，神宗熙宁四年（1071年）王惯撰写一部《北道刊误志》，此书对京师（开封）名胜，记载颇丰，而唯独缄口不言开宝寺塔。
北宋神宗熙宁五年（1072年）十月，日本国僧侣成寻曾在开宝寺福胜院等处参观礼拜，其记述当时的情景说，原藏在灵感木塔下的佛舍利，现“宿置”于“一间小殿”中。建塔的目的就是奉藏舍利，舍利置于“小殿”中。说明新塔尚未建成。又据魏千志教授躬身登临铁塔考查，塔身的第三层砖上出现治平四年（1067年，英宗在位的后一年）的年号，塔顶发现“熙宁”（神宗第一个年号）字样的琉璃砖。再参照日僧成寻《参天台五台山记》的有关记载，这就说明，铁塔后的落成时间，大概在神宗熙宁年间的后期，亦即1073年至1077年之间。
铁塔从建造到竣工，前后总共经过近30年的时间。但这仅是魏千志教授的一家之言，铁塔确切的落成时间，仍尚有待于硕学博闻之士释疑解难。
历经宋、金、元、明、清5个朝代以及民国时期漫长岁月，遭受地震43次，冰雹1O次，风灾19次，河患6次，雨患17次，其间曾数次增补葺修。明洪武二十九年（1396年），周王重修，塔内嵌置黄琉璃阿弥陀佛48尊，两旁刻字足证。
嘉靖三十三年（1554年），周王又增修，有碑记证明。又据近人关百益（曾著《铁塔》和龙非了（曾著《铁塔考察记》）考证，在塔身上数层的琉璃花纹砖面上周围，发现有明洪武二十九年仲夏、正德七年（1512年）十二月、嘉靖八年（1529年）六月、嘉靖三十二年（1553年）十二月、嘉靖三十三年（1554年）三月及六月、万历五年（1577年）四月及五月、万历六年（1578年）四月、万历十八年年（1590年）十一月、清乾隆三十八年（1773年）夏四月等字样。
建国后1957年重修铁塔时，又发现塔顶层的铜宝珠下的磐石上，嵌有清康熙七年（1668年）的石刻，均可证明在这些年代中，对铁塔重修或增添葺修的事实，其中以明洪武二十九年（1396年）一次的重修为重要。此外还有，民国十年（1921年）开封县知事丁康保奉母命补修，民国二十三年（1934年）河南省佛学院又募捐补修一次。
1938年6月5日，侵华日军以铁塔为目标发动猛烈的炮火袭击，塔身中弹七、八十发，塔身北侧遍体鳞伤，第八、九层被打穿了外壁，留下了2个2米大的深洞，而铁塔渗透着开封人的铮铮铁骨，像一位威武不屈的战士巍然屹立在古城大地。
1953年7月，省文物局把维修铁塔列为中南的名胜古迹重点修缮工程。
1954年，组织工程技术人员和考古人员对铁塔进行勘察设计。
1956年，成立了由市政府建设科工程师田延寿等人组成的铁塔修复委员会，由中央文化部和省计划委员会拨21万元专款，本着“修旧如旧”的原则，制定了维修方案。
1957年6月11日开始动工，到10月底全部修复竣工。同时还安装了104个铁铸风铃，增装了洞门铁栏和避雷针。千年宝塔以崭新的面貌展现在世人面前。
在河南宋代砖塔中，铁塔也是代表。这不在于其建材昂贵与外观豪华，而在于它那挺拔有力、气宇轩昂的艺术风格，是中国高的琉璃塔。但是它的绝对高度在全国诸塔中，并不算十分突出，它比时代相近的河北料敌塔（84米），和应县木塔、都要低些。但铁塔给人的印象却是那样高大，像是立在古都开封的擎天巨柱。
从造型到色调都有铁打铜铸的深厚气质。河南宋塔，在建筑上有一个普遍的特点，就是外轮廓线上下较直，这和宋代以前的河南唐塔（如法王寺塔等）与宋代同时的河南金塔（如白马寺齐云塔）外部多呈柔和的抛物曲线之做法都不相同。不过，有不少宋代砖塔（如鄢陵等地的宋塔）上部各层收分过急，出现很突然的尖锥状，艺术效果不佳。而开封铁塔就没有这种感觉，上下收分比例协调自然，很象是人们的视觉差呈现出的比例。经实地勘察发现，铁塔各层斗拱是一样的规格，各层面阔的大小，主要在于檐部与平座斗拱数目的调整变化。除柱头斗拱之外，各面的补间斗拱，有一个平缓渐变的程序。自下而上，檐部斗拱与平座斗拱的补间数目是：一层（六与六）、二层（六与五）、三层（五与五）四层（五与五）、五层（五与五）、六层（五与五）、七层（四与四）、八层（四与四）九层（三与三）、十层（三与三）十一层（三与四）十二层（三与零）十三层（二与零）。从塔的总高度与其下层底平面直径相比，约五比一。
周边
“接引殿”在铁塔的正前面，仿汉白玉砌成，系三门牌楼式仿宋建筑，宽70米，高12米，大门左右墙壁上，对称镶嵌着8块庄严、肃穆、圣洁青石神佛坐像，1986年为供奉北宋文物“接引佛”而建。该殿为重檐歇山式建筑，殿前，石狮雄踞，鼎香缭绕；殿周，24根大柱抱殿而矗；大殿台基，青石栏杆拦护，妙趣横生的96只小狮子环绕排开。“接引殿”的旁边是“灵感院”。灵感院是为供奉白玉佛像而建。正殿内供奉的释迦牟尼“白玉佛像”，是1933年由旅居缅甸的华侨捐赠。佛像高约1米，由整块白玉精雕而成，秀丽端庄，晶莹洁亮，堪称佳品。
塔身
铁塔成等边八角形，共十三层，高55.88米，底层每面阔为4.16米，向上逐层递减。塔身遍砌花纹砖，上有飞天、麒麟、菩萨、乐伎、狮子等花纹图案50余种。顶上嵌着一只葫芦式的铜质大宝珠，远远看去，就像出家人戴着庄严的僧帽。塔身的窗子设计也很别致，有明窗和盲窗两种，明窗每层一只，一层在北，二层在南，三层在西，四层在东，依次类推，直至高层。所谓盲窗，其实是打不开的窗模。
铁塔塔身为八角，13层，楼阁式，基座及8棱方池因黄河泛滥埋淤地下。现高55.08米，塔外壁采用28种仿木结构的模制琉璃雕砖砌成，砖上有飞天、五僧、菩萨、麒麟、降龙、伎乐、宝相花等图案50余种；各层出檐以重抄计心五铺作斗拱承托；底层东、西、南、北各辟一闺形门；唯北门设梯道可绕塔心柱盘旋至顶。余3门均为8角小宝。2层以上每层开窗，可登临眺望。内外壁紧密衔接，结构坚固，形成强有力的抗震体，千百年来，历经多次水患、地震、暴风雨、炮击等破坏，仍巍然屹立。整个造型秀丽峻拔，气势宏伟，建国后，1957年对该塔进行了修葺，增添了避雷设施，每层门洞新设了铁栏杆，塔内第1层增置了照明设备和扶手。
铁塔有技术含量很高的科学技术价值。在建塔选材上就吸取了其前身木塔雷击烧毁的教训，而采用了绝缘的、不导电的琉璃瓷砖，避免了大雨雷击的可能性。瓷砖另一个特点是应压强度高，坚固牢靠，在塔门的设计上也是独具匠心，不用发券的半圆门，而采用上尖下方的圭形门，用五层云纹砖逐层收压，其外观象佛龛，而更为坚固。
从建筑艺术上讲，铁塔可称上是一座巨型艺术品，远望，铁色琉璃瓦遍饰全身，色调具有铁打铜铸的深厚气质，而且整座塔身上下收分比例协调自然，视觉差比例匀称美观，气势惊人。而走近细看，遍身装饰都是琉璃浮雕艺术品，每块砖都是做工精细、栩栩如生的琉璃艺术品。
开封铁塔是宋都开封具代表性的文物，是文物价值高、份量重的宝物。
1961年，被国务院定为中国首批国家重点保护文物之一。
