1940年出生于哈尔滨的一个医生世家，满族，父亲是一位医院的院长，然而他从小却对音乐情有独钟。
1960年8月，金铁霖以优异的成绩从200多名考生中脱颖而出，考入了当时全国的最高音乐学府——中央音乐学院。他也是整个长春考区惟一被录取的考生。
1960-1964年，就读中央音乐学院声乐系，师从著名声乐教育家沈湘教授；
1965年以优异成绩毕业，任中央乐团独唱演员；在1965年，成绩优异的他被分配到了中央乐团，成为了一名职业歌唱演员。
1981年至1985年，执教中国音乐学院；开始民族声乐教学的探索，通过多年的教学实践，他逐渐摸索出了一条适合民族唱法的教学道路。
1985年起先后任声乐系副主任、声乐系主任；
1996年至2009年9月担任中国音乐学院院长。
2015年6月18日，任中国音乐家协会第八届顾问。
在从教的半个世纪里，金铁霖先生的各类声乐表演人才有上千名，金老师的弟子唱出了改革开放以来无数首脍炙人口、家喻户晓的“时代最强音”。例如：彭丽媛的代表作《在希望的田野上》、《父老乡亲》、《我们是黄河泰山》、 《江山》 等；宋祖英的代表作《好日子》、《爱我中华》、《大地飞歌( 在线观看)》等；阎维文的代表作《小白杨》、《一二三四歌》等；董文华的代表作 《春天的故事》 、 《十五的月亮》 、《望星空》等；刘斌的代表作 《当兵的人》等；张也的代表作《走进新时代》、《高天上流云》等……如此的例子不胜枚举。
21日下午，中国人民大学金铁霖中国声乐艺术研究院在中国人民大学艺术学院音乐厅举行开班仪式。院长金铁霖现场为人民大学学生授课。他的学生、歌唱家宋祖英也参与到此次教学中。
彭丽媛、李谷一、董文华、汤灿、宋祖英、张也、李丹阳、阎维文、刘斌、吕继宏、戴玉强、张燕、祖海、李晖、胡薇、王丽达、朱之文（大衣哥），以及香港歌星黎明、李嘉欣等也曾拜他为师。在四十多年“一对一”的声乐教学过程中，金铁霖教授培养了民族声乐教学人才四百余名，各类声乐表演人才上千名。从为我国培养出第一位民族声乐硕士研究生彭丽媛算起，金铁霖教授已经培养出硕士研究生和青年优秀演员研究生班学员40余名。
主要学生有：李谷一、彭丽媛、宋祖英、张也、董文华、阎维文、戴玉强、李丹阳、吴碧霞、铁金、刘玉婉、孙丽英、程桂兰、吕继宏、刘斌、牟玄甫、胡薇、祖海、汤灿、张燕、李晖、王丽达、陈笠笠、张迈、吕薇、黄华丽、阿拉泰、唐佩珠、郭瓦·加毛吉、刘辉、雷岩、金小凤、吴琼、韩延文、董华、高咏梅、周金星、于连华、王绍玫、王世魁、黎光、湘女、于丽红、方琼、王世惠、李海鸥、谢琳、王永春、柏林林、高韵、夏阳、常思思、周燕君、马晓梦等。
担任全国政协委员、中国音协副主席、中国声乐学会副会长；中国民族声乐艺术研究会筹备会会长；全国文联全委会委员；教育部艺术委员会委员；中国少数民族声乐学会副会长；中国轻音乐学会副会长；中国音乐表演权学会副会长；北京市文联主席；文化部考评委员会民族声乐组组长；文化部和北京市教委高级职称评委等。
先后被河南大学、中央民族大学、南京艺术学院、沈阳音乐学院、大连大学、东北师范大学等高等院校聘为客座教授；被二炮文工团、武警文工团等艺术团体聘为艺术顾问；被南昌大学聘为名誉教授和艺术教育总监。
“每个人都有自己的中国梦，我的中国梦就是要把‘中国声乐’发扬光大，让‘中国声乐’唱响世界！”这句话出自一位普普通通的中国声乐教师，他心怀这样的中国梦，在三尺讲台上奋斗了整整50年，为“中国声乐”体系的形成和发展做出了巨大的贡献，他不仅培养出了彭丽媛、宋祖英、阎维文、董文华、张也、戴玉强等在中国和世界声乐界赫赫有名的歌唱家，他的几代学生还遍布中国音乐教育界及各个国家级及地方文艺团体。他，就是著名声乐教育家、中国音乐学院名誉院长金铁霖。
在从教的半个世纪里，金铁霖先生的各类声乐表演人才有上千名，金老师的弟子唱出了改革开放以来无数首脍炙人口、家喻户晓的“时代最强音”。例如：彭丽媛的代表作《在希望的田野上》、《父老乡亲》、《我们是黄河泰山》、 《江山》 等；宋祖英的代表作《好日子》、《爱我中华》、《大地飞歌( 在线观看)》等；阎维文的代表作《小白杨》、《一二三四歌》等；董文华的代表作 《春天的故事》 、 《十五的月亮》 、《望星空》等；刘斌的代表作 《当兵的人》等；张也的代表作《走进新时代》、《高天上流云》等……如此的例子不胜枚举。
为了全方位展示金铁霖先生在中国声乐领域50年来的丰硕教学成果，让海内外华人共享“中国声乐”的精彩篇章，“唱响世界·我的中国梦——金铁霖先生从教50周年学术音乐会”将于12月6日在中国音乐学院国音堂唱响，随后还将于12月29日在香港会展中心回归大厅举行。
这场学术音乐会将汇聚金老师不同时代的最优秀学生，集中展示具有“科学性、民族性、艺术性、时代性”的“中国声乐”演唱艺术，宋祖英、阎维文、董文华、刘斌、张也、戴玉强等多位师出金铁霖先生的著名歌唱家都在其中，这场音乐会具有极高的中国民族声乐学术价值。在音乐会当天（12月6日），还举行研讨会，将系统总结和研讨金铁霖先生的“中国声乐”教学体系，并专题研讨如何为“中国声乐”开拓更加美好的未来，构建“中国声乐”学派，使“中国声乐”逐步走向世界舞台。
2016年3月2日，全国政协委员金铁霖现身北京会议中心报到，参加2016年全国两会。
