赫伯特·冯·卡拉扬于1908年出生在奥地利的萨尔茨堡，这里曾经诞生过世界上最伟大的天才作曲家莫扎特。
卡拉扬的家庭原籍是希腊。自他的祖辈移居到奥地利以后，这个家族就不断地出现著名的人物，由于祖上的功名着著，先后有两名成员被当时的奥皇封为男爵，所以他的家庭一直是属于贵族家庭的，卡拉扬全名中的“冯”字，即是一种贵族的标志。
卡拉扬的父亲是一位医生，但他同时又是一名出色的业余音乐家，经常在莫扎特音乐学校的管弦乐队中演奏单簧管。受父亲的影响和家庭音乐环境的熏陶，卡拉扬从很小便显露出了极为出众的音乐才华。
他从四岁开始学习钢琴，八岁时就已经举行了公开演奏会，由于才华和技艺的出众，他曾被当时的舆论界公认为未来最有前途的钢琴演奏家。卡拉扬早年曾在家乡的莫扎特音乐学校中学习，在这里，他曾受到该校校长的特殊关怀，这位校长是第一个发现卡拉扬的天才人物，他处处像慈父般地关心着卡拉扬，并且还介绍他去著名的意大利美术馆中去学习绘画和雕塑，自然，这种对姊妹艺术的了解和学习，对于卡拉扬以后的艺术成长起到了十分积极的作用，卡拉扬日后在指挥时所表现出的丰富色彩变化和雕塑般的音乐造型艺术，大概都是受益于此的。
到了十几岁以后，卡拉扬便离开了自己的故乡而来到了维也纳，他同时在维也纳国立音乐学院和维也纳大学中学习钢琴、指挥和音乐学，起初，卡拉扬一直是将成为钢琴大师来作为自己的奋斗目标的，后来，由于他的手指出了毛病，才不得已而转到了指挥系学习。他在这段时间里，用心倾听了维也纳歌剧院所上演的理查·施特劳斯和普契尼的全部歌剧作品以及亨德米特、克申涅克和斯特拉文斯基的许多现代派歌剧，同时还大量观摩了像富尔特文格勒、克劳斯、托斯卡尼尼和瓦尔特等指挥大师们的排练和演出，从中学到了很多他所渴望学到的东西。
卡拉扬首次登台指挥是在1928年，当时他是在他的教师冯德勒所主办的一次学生音乐会上首次表演的，这一次，他指挥了学校的学生管弦乐队演奏了罗西尼的《威廉·退尔》序曲，这次演奏的成功，受到了很多在座人们的好评，而20岁的卡拉扬，也终于首次尝到了作为一名指挥所具有的独特味道。
从大学毕业以后，卡拉扬便马上遇到了选择和寻找职业的问题，由于他感到在人才济济的维也纳没有什么指望，便回到了自己的家乡萨尔茨堡，在这里，他有着父母、朋友和熟悉他的人的支持，也有着当年自己作为神童钢琴家时所留下的影响和印迹，他意识到，自己的艺术生涯还是应当从这里起步，于是，当他回到萨尔茨堡之后，便开始精心策划 一场较有影响的音乐会，经过各方面的努力，音乐会被确定举行了，卡拉扬将在这里指挥莫扎特音乐学院的学生乐队演出，在他的演出节目单上，赫然地印着这样一些曲目：柴科夫斯基的《e小调第五交响曲》，莫扎特的《A大调钢琴协奏曲》和理查·施特劳斯的交响诗《唐璜》。音乐会的演出很成功，人们不住地向这位青年指挥家报以掌声。然而这场音乐会的最重要的意义却并不在于此，谁也没有想到在音乐会的观众席上，坐着乌姆市歌剧院的院长，这位院长在听完了卡拉扬指挥的音乐会后，立即跑到后台找到了这个小伙子，同时向他宣布将聘请他担任乌姆市歌剧院的常任指挥，就这样，卡拉扬平生第一次有了一个作为指挥的正式职业。
卡拉扬与乌姆市歌剧院的合作从一开始就体现出了创业的艰难，乌姆市不同于维也纳和萨尔茨堡，这是一个文化和其它方面都不很发达的小城市，而乌姆市歌剧院则更是一个仅有着十几个人的乐队和二十几个歌唱演员的戏班子，但这一切却并没有阻止住卡拉扬的天才的发挥，经过他不懈的努力和勤奋的工作，居然在1929年的3月上演了莫扎特的歌剧《费加罗的婚礼》，这的确不能不说是卡拉扬所创造的一项奇迹。
从这以后，卡拉扬便以自己的坚韧毅力和刻苦精神，苦苦地经营着这个剧院，使其在自己的任期从各方面都得到了很大的发展。在他领导这家剧院的五年时间，每年都要上演大约六部歌剧，而在这些歌剧中，竟包括着像瓦格纳的《纽伦堡的名歌手》和理查·施特劳斯的《莎乐美》这样的艰辛而大型的作品。除此之外，他还指挥该院乐队举行了为数众多的音乐会，从而使乌姆市的音乐生活变得异常丰富起来。然而好景不长，五年后他突然被乌姆市歌剧院解除了职务，据说这次解职由于剧院经理看中了他身上的天才而不愿意将他埋没在小小的乌姆市的原故，故而善意地将他推向了只能前进，不能后退的绝境，逼迫他到更加广泛的天地中去参与竞争，这个传闻是否可信姑且先不谈，而事实上的卡拉扬却的确是失了业，一夜之间，卡拉扬竟变成了一无所有的流浪汉。然而，真金毕竟是不怕火炼的，也许是正中了那个传闻中所讲的原因，卡拉扬在经过多次异常艰苦的奔波和竞争后，终于受聘担任了亚琛歌剧院音乐指导的职务。亚琛歌剧院比起乌姆市歌剧院来说，各方面的条件都要优越得多，这里有着大型的乐队和合唱队，也有着良好的剧场和有修养的听众，卡拉扬在这里得以很好地发挥了自己的才能，在亚琛歌剧院任职期间，他有机会指挥了瓦格纳庞大的四联剧《尼伯龙根的指环》，同时他也开始作为一名小有名气和影响的青年指挥而被邀请到柏林、维也纳和一些其它的欧洲名城中去担任客席指挥了。
1937年，卡拉扬应著名的犹太指挥家布鲁诺·瓦尔特的邀请赴维也纳指挥维也纳歌剧院演出了瓦格纳的歌剧《特里斯坦与伊索尔德》，虽然这是一次成功的演出，但卡拉扬本人却对此行很不愉快，因为实际上在他到达维也纳时，才知道他与乐队的排练计划已被取消，这使得他不得不在基本上没有排练的情况下进行演出，而更使他不满的是，那些担任主角的歌唱演员排练时想来就来，想不来就不来，给排练和演出都带来了很大的困难。演出结束后，维也纳歌剧院曾邀请卡拉扬担任永久性的指挥，然而卡拉扬却拒绝了，他经过比较之后，还是更喜欢在亚琛歌剧院工作。这次维也纳之行使他得出了一个经验，他在自传中说到：“通过这次演出，我得出了一个结论，那就是今后只有对我来说时机成熟了，我才再来维也纳指挥。”但是，这次演出的确是一次成功的演出，卡拉扬本人也通过这次演出而得到了越来越多的人的了解。就在他赴维也纳演出后的第二年，柏林国家歌剧院由于富尔特文格勒受“亨德米特事件”的影响 被解职而空出了常任指挥的位置，剧院经理铁特金一下想到了卡拉扬，于是便邀请他来指挥拍林歌剧院的演出，在经过一番艺术和权力上的讨价还价以后，卡拉扬终于来到了柏林国家歌剧院，他在这里首先上演了贝多芬的《菲德里奥》，瓦格纳的《特里斯坦与伊索尔德》和《纽伦堡的名歌手》等歌剧，一下便取得了惊人的成功，但这时的卡拉扬却仍然没有放弃自己在亚琛的职务，直到1941年，他才正式辞去了亚琛歌剧院的职务而专心在柏林工作了。
卡拉扬在指挥舞台上活跃70年。他带领过欧洲众多顶尖的乐团，并且曾和柏林爱乐乐团有过长达34年的合作关系。他热衷于录音和导演，为后人留下了大量的音像资料（到1988年为止他发行超过1亿张唱片约700款录音），包括众多的管弦乐，歌剧录音和歌剧电影，涵括从巴洛克到后浪漫主义欧洲作曲家的作品。其中一些作品，如贝多芬的交响曲还被多次录制。卡拉扬在音乐界享有盛誉，甚至在中文领域被人称为“指挥帝王”。
微微低头，紧闭双眼，手执指挥棒，抬起双手，屏住呼吸，空气也在那一刻凝息……每一次站在指挥台开始指挥前，总会看到卡拉扬这副沉默的样子。一刹那间，整部乐曲在脑海形成，一切都掌握在卡拉扬手中。卡拉扬像皇帝一样，驾驭了整支管弦乐团，只等他挥动指挥棒，乐声便随之奏起。1988年3月，在卡拉扬去世前一年，传记作家理查德·奥斯本曾与指挥家卡拉扬有过以下一组对话：
奥：“人们说，当你站在指挥台上开始指挥演出时……”
卡：“是的，我知道。这让我感到无比幸福。”
身为“指挥帝王”，卡拉扬可谓是面临不少的压力，无知者与嫉妒者对于卡拉扬的批评声也是络绎不绝的。他生前的录音数量，至今无人能比，唱片的销量也是傲绝群雄的。卡拉扬在艺术和商业中找到了一个很好的平衡点。观看卡拉扬的指挥录像，在一个严肃的表情背后，充满的是对音乐的享受。他同样也会被他所指挥的音乐所感动流涕，卡拉扬是极度热爱音乐的，这点丝毫不亚于曾经非常忌惮他的威廉·福特文格勒。他的一生都在寻找最完美的音乐，还未有人能像他一样30年始终忠于同一支管弦乐团，他空前绝后地与自己的乐团融为一体，水乳交融。
（1908年—1926年）
1908年4月5日是一个晴朗的星期天，恩斯特夫妇再获一子，取名为赫里伯特（Heribert Ritter von Karajan），即是后来的赫伯特。萨尔茨堡是一个有着浓郁音乐气息的城市，莫扎特的故乡，每年有名的萨尔茨堡音乐节就在此拉开帷幕。卡拉扬一家非常热爱音乐。父亲恩斯特会弹钢琴，演奏单簧管，还经常参加莫扎特音乐学院乐团和萨尔茨堡州立剧院的各种活动。城里的音乐家都很乐意和这一家子来往。父亲除了带孩子上交响音乐会外，还时常在家里举办小型的音乐会。不难理解，兄弟两人很早就接受钢琴训练，年长的沃尔夫冈首先学习音乐，到了1912年，赫伯特4岁时，也开始跟随弗兰兹·列德文卡学习钢琴。他从8岁起就在萨尔茨堡莫扎特音乐学院学习基础，为时10年。这音乐教育是多方面的，除了继续跟随弗兰兹·列德文卡学习钢琴外，他还在萨尔茨堡的教堂唱诗班中参加合唱，另外更是师从弗兰兹·绍尔学习和声。值得一提的是卡拉扬作曲和室内乐的老师博尔哈德·包恩伽特勒（Bernhard Paumgartner），他很快就发现了卡拉扬身上的潜能，并对之显示出父亲般的关怀。卡拉扬经常驶着老师的军用摩托车在郊野狂飙。包恩伽特勒不但诱发了卡拉扬对绘画和雕塑的兴趣，也正是他鼓励卡拉扬后来走上指挥道路。其实，两位家长才是赫伯特最重要的老师。在卡拉扬的家里，儿子们要用“您”（德语：Sie，是德语中的敬称）称呼家长。恩斯特是一位严谨的人。他每天步行25分钟上班，在路上将快要进行的手术通盘琢磨。这种作风无疑也深深地影响着日后的赫伯特，让他养成事事做足准备的习惯。母亲则是一位乐善好施的好人。卡拉扬12岁时，一次他在爬楼梯的时候失足，从20米高处坠下，脚部关节和脊椎受伤，后遗终身，母亲马塔对之的关怀照料令人动容。据卡拉扬的自述，他曾因自己在钢琴方面的早熟，被人称为“神童”，不过他从没为这一称号而去耗费力气。经过5年的钢琴课，卡拉扬终于在1917年1月27日第一次以钢琴家身份在莫扎特纪念日里登台演出。两年之后的1月26日，他在老师包恩伽特勒的指挥伴奏下，以独奏家身份演奏协奏曲。
（1926年—1929年）
但这些音乐方面的小成就似乎还不能让他的双亲立下心思，让年青的卡拉扬将来以音乐为生。母亲马塔总希望卡拉扬能当上一名银行职员。务实的父亲则曾劝他说：“我知道你有音乐方面的天份，但你总得学一些实用的技术来糊口。”为了顺从父亲的意愿，卡拉扬在1926年以毕业论文《热力学与内燃机》完成萨尔茨堡莫扎特音乐大学的学习后，即去了维也纳进入维也纳工业高校学习。不过他并没有离音乐而去，而是坚持学习，所以他在研修技术的同时，还在维也纳大学入读音乐科学系和在维也纳音乐与表演艺术学院学习。他在维也纳跟随新老师约瑟夫·霍夫曼学习钢琴，还同时向亚历山大·温德尔（Alexander Wunderer）和弗朗兹·绍克（Franz Schalk）第一次学习他日后的职业：指挥。年轻的卡拉扬当时具有一个钢琴演奏家的一切音乐才能。不过后来，一如罗伯特·舒曼，卡拉扬手指的腱鞘严重受伤，即使他本人作了一些荒诞的尝试以使之痊愈，也没见好转，这让他不得不在通往钢琴家的路上止步，而将之转到指挥的前途上。
亚历山大·温德尔在维也纳音乐生活中有一定的影响力，但作为老师，他就未必胜任。卡拉扬对指挥的知识主要不是来自于老师，而是职业实践本身。但卡拉扬在维也纳却学到了很重要的东西，歌剧剧目和更难得的—当时维也纳的顶尖歌剧表演：当时卡拉扬并没有什么机会指挥乐队进行实践，却和同学想到办法来打发时间。
1928年12月17日，卡拉扬迎来了自己的第一次指挥登场，指挥学院乐队演奏罗西尼歌剧《威廉·退尔》的序曲。但是他可能意识到，当时毫无名气的他在维也纳很难找到工作，于是他决定回去萨尔茨堡一试。过了一个多月，为了展示自己的才能，这位年轻的指挥家在家乡作了自己的公开亮相，他延请并指挥了莫扎特音乐学院乐团，曲目是施特劳斯的《唐璜》和柴可夫斯基《第五交响曲》。演出很成功，并且，卡拉扬为自己赢得了机会—乌尔姆市立剧院的经理邀请他到自己的剧院试奏。经理在再听过卡拉扬的指挥后，决定聘任这位年轻人在剧院指挥歌剧，月薪约为20美元。当时卡拉扬跟经理说道，自己并未指挥过任何歌剧，要接受这工作他得先研究一下。经理回答得很简单：“没问题，你过来研究就行了。”于是，乌尔姆之职成为了卡拉扬指挥事业的正式起点。
亚琛与柏林
（1934年—1945年）
1933年纳粹党上台，德国音乐人才急剧衰减。就在那一年，布鲁诺·瓦尔特，克伦佩勒，埃里希·克莱伯，弗里兹·布什被迫离开德国。有着犹太血统的作曲家作品被禁，门德尔松、马勒或是荀白克都在此列。而欣德米特的歌剧《画家马蒂斯》被禁，富特文格勒为此大闹纳粹，辞去了其身上所有的终身职务，以47岁的年纪暂时退休。
而在这些大事发生不久之后的1934年，卡拉扬得到了一个重要的职位—亚琛市立剧院音乐会指挥和歌剧总监。这个剧院比乌尔姆的高一个档次，乐团有70多人，合唱队300人，而且带领合唱队的正是日后扬名合唱界的威廉·匹兹（Wilhelm Pitz）。以这样的人员，卡拉扬迫不及待地上演了瓦格纳的《尼伯龙根的指环》。而亚琛也是卡拉扬到柏林和维也纳的跳板。1934年8月21日，他在私人晚会上首次与维也纳爱乐管弦乐团合作，演奏了德彪西和拉威尔的作品。到了1935年4月12日 ，卡拉扬更是被任命为亚琛市立剧院音乐总监。卡拉扬以他当时27岁的年纪，成为了德国最年轻的音乐总监。但是，卡拉扬得作出一项妥协：被迫加入纳粹党。
1937年6月1日，卡拉扬受布鲁诺·瓦尔特之邀，首次到维也纳国家歌剧院指挥，剧目是瓦格纳的《特里士坦与伊索尔德》。这是一场令人瞩目的胜利。但卡拉扬也领略到了维也纳歌剧院的艰难工作条件：大排练被取消，小排练里主角们唱两句就要离去办点私事。日后的1956到1964年，卡拉扬会更真切地体会到这些难处。而同在1937年，卡拉扬被邀请去指挥一支柏林的管弦乐团，但卡拉扬拒绝了，因为乐队不能给他任何时间去排练。不过很快，到了1938年，乐队就同意了卡拉扬的要求，先排练再演出。于是卡拉扬就在4月8日，首次和这支乐队合作，指挥了莫扎特《“哈夫纳”交响曲》（“Haffner”，亦即第35号交响曲），拉威尔第2号《达夫妮与克劳伊》组曲和勃拉姆斯的《第四交响曲》。而这支乐团，就是日后和卡拉扬合作35年的柏林爱乐乐团。
而在个人方面，卡拉扬在1938年7月26日与亚琛轻歌剧首席女歌手艾米·霍格罗夫结婚，两人在亚琛附近的树林里拥有一座房子。但是卡拉扬关注得更多的是其事业。而霍格罗夫与戈林夫人的友好关系帮助了卡拉扬进军柏林。1938年9月30日他得到了在柏林国家歌剧院指挥的机会，剧目是贝多芬的《费德里奥》。而到了10月21日，是卡拉扬的胜利时刻。他指挥的《特里士坦与伊索尔德》引起国际轰动。柏林音乐评论家范·德·努尔（van der Nuell）称之为“神奇的卡拉扬”（das Wunder Karajan）。
不管有没有范·德·努尔的评论，卡拉扬开始在柏林扬名。虽然他被富特文格勒掌管下的柏林爱乐拒之门外，但是卡拉扬还是成功在柏林立足，他在1939年11月同时接受了柏林国家歌剧院乐队长和普鲁士国家乐团音乐会指导两职。他还在1940年2月18日于理查·施特劳斯面前上演了其歌剧《埃莱克特拉》，并得到作曲家的首肯。卡拉扬也到过被占领的巴黎演出瓦格纳的作品。而且其录音生涯也即将开始，他与德国唱片公司签下第一份合约期至1943年。卡拉扬的第一个正式录音，是指挥柏林国立乐团演绎莫扎特的《魔笛》序曲（这些早期录音为DG公司结集发行）。
（1945年—1954年）
虽然第二次世界大战在1945年结束，但盟军对其前纳粹党员的身份要进行调查，再加上富特文格勒的阻挠，卡拉扬的半退休状态似还没有尽头。他被禁止在德国和奥地利演出。不过有一次例外：1946年1月12日卡拉扬在维也纳爱乐之友协会与维也纳爱乐乐团合作。本来他还被邀请去指挥莫扎特的费加罗的婚礼和理查·施特劳斯的《玫瑰骑士》（Der Rosenkavalier，又译：蔷薇骑士），但演出就在最后一刻在苏联方面的坚持下被迫取消。幸好此时卡拉扬得到了两个人的帮助，走出了困境，成功复出。一位是华尔特·李格（Walter Legge），当时英国EMI公司的古典音乐唱片制作人。另一位则是卡拉扬的导师和好友，指挥家维克多·德·萨巴塔（Victor De Sabata）。
1947年10到12月，卡拉扬与维也纳爱乐乐团合作为EMI录制了贝多芬《第八交响曲》和《第九交响曲》（后者的合唱部分由维也纳歌唱协会合唱团（Wiener Singverein）担任，该合唱团于当年10月第一次与卡拉扬合作），还有舒伯特的《第九交响曲》和布拉姆斯的《德意志安魂曲》（Das deutsche Requiem）。
非纳粹化后的卡拉扬，很快就成为了欧洲音乐生活的中坚力量之一。1948年行程紧密。卡拉扬不但开始了与卢塞恩国际音乐节的合作（两者的合作关系持续到1988年，1960年除外），还参加了当年的萨尔茨堡音乐节，包括格鲁克的《奥菲欧与埃雨迪克》，莫扎特的《费加罗的婚礼》，还有两场音乐会，曲目分别是海顿，理查·施特劳斯，贝多芬和勃拉姆斯的作品。而任职方面，他一方面接受了维也纳歌唱协会终身艺术指导和维也纳交响乐团（Wiener Symphoniker）首席指挥两职，并将它们训练成一流的音乐团体。而另一方面在伦敦，他则与由李格组队的爱乐管弦乐团（the Philharmonia）紧密合作，并在接下的几年陆续制作了一系列名盘，如和钢琴家李帕蒂合作录制舒曼的《钢琴协奏曲》，和圆号手丹尼斯·布莱恩（Dennis Brain）录制了莫扎特的《圆号协奏曲》，和李格的夫人伊丽莎白·施瓦兹科普夫录制的一系列歌剧：《蝙蝠》，《法斯塔夫》，《汉塞尔与格蕾太尔.》，《阿里阿德涅在纳克索斯》和《玫瑰骑士》，还有他自己的第一套贝多芬交响曲全集。1952年，他带领了这支乐队做了第一次欧洲大陆之行。
而从1949年起，卡拉扬开始经常与米兰斯卡拉歌剧院合作，并成为其德国演出季的指导。卡拉扬对歌剧制作细致入微，排练数以月计。所以在那里他虽然每年只将一到两部歌剧搬上舞台，但却是部部精彩。值得一提的是，卡拉扬在此曾与有着“歌剧女神”之称的玛丽亚·卡拉斯数度合作，如1954年有名的《拉美摩尔的路契亚》（Lucia di Lammermoor），并且为EMI留下了诸如《游唱诗人》，《蝴蝶夫人》等歌剧的录音。
1949年，卡拉扬再度在萨尔茨堡音乐节上指挥维也纳爱乐乐团和维也纳音乐之友协会歌唱协会合唱团演奏威尔第和贝多芬的作品。不单是他故乡的音乐节，就是拜鲁伊特也向卡拉扬招手。1951年这个几度风霜的华格纳音乐节战后重开。该年的音乐节是一次名副其实的盛事。华格纳的两位孙子维兰·华格纳和沃尔夫冈·华格纳首次上任制作。各地有名的华格纳歌手齐集一堂。卡纳匹兹布什为观众展现了他对华格纳作品诠释的独特魅力—《帕西法尔》。而富特文格勒也到场指挥了一次令后世难忘的贝多芬《第九交响曲》。而卡拉扬作为后辈，则在7月27日的音乐节开幕当晚指挥了《纽伦堡的名歌手》全剧，以及和卡纳匹兹布什携手指挥了《戒指》。次年，卡拉扬再度登台拜鲁依特，指挥了《特里斯坦与伊索尔德》。这两次登台，皆有录音，而且深得好评。其中《纽伦堡的名歌手》和《特里斯坦与伊索尔德》的演绎甚至被奉为卡拉扬所有诠释之最佳。但是就在这两次成功的演出之后，卡拉扬就再也没有重登拜鲁伊特的舞台。
战后的柏林爱乐几经危机，除了乐队本身需要重建，人员要添补外，首席指挥问题始终需要解决，先是首席指挥里奥·波查德特（Leo Borchardt）被占领区士兵射杀，后来由年轻的谢尔盖·切利比达奇（Sergiu Celibidache）短暂接掌。1947年富特文格勒归来，但在种种内外因素的作用下，他要一直待到1952年才下定决心出任乐团首席指挥一职。但此时的富特文格勒已经力不从心。他的耳聋日渐严重，他需要西门子公司为指挥台安装线路设备，以便听到乐队的声音。而且富特文格勒人缘欠佳，与其他指挥的关系都比较紧张。早在1954年11月30日富特文格勒肺炎逝世前，柏林爱乐乐团就要考虑其继任人问题，而候选人都是当时指挥界的能人：克鲁依坦，切利比达奇，约胡姆，舒里希特，还有卡拉扬。
富特文格勒在1948年重返舞台，同时也意味着卡拉扬一直在维也纳，柏林和萨尔茨堡这些音乐重镇之前不得正门而入，加上卡拉扬身系繁忙的任务，所以他只得零星的机会与柏林爱乐乐团接触。
到了1953—54年，卡拉扬与柏林爱乐合作日益频繁，他们不但录制了贝多芬的英雄交响曲，还共同出席节日周音乐会（Festwochenkonzert）。这些演出得到了当时乐评家的热烈赞赏。
经过这短期的磨合，卡拉扬的继任只是时间问题。1954年11月30日富特文格勒逝世，正是柏林爱乐美国之行的前夕。当时卡拉扬正在罗马一所酒店里。他的秘书给他递上一封来自维也纳发出的匿名电报，上书“Le roi est mort, vive le roi.”（法语：老王驾崩，新主万岁。）就在第二天，柏林爱乐乐团经理格哈德·冯·韦斯特曼（Gerhart von Westerman）就立刻打电话给卡拉扬，请后者出任乐团首席指挥一职。韦斯特曼打这个电话可能有多方面的原因，其中之一就是在纽约负责乐团访美事务的有关方面致电他道：除非卡拉扬指挥，否则乐队的旅美之行，免谈。
至于卡拉扬方面，这支乐团正是他日思夜想要拥有的。他曾说：“我一定要得到这支乐团，因为他的素质让我着迷，而且我也知道，和这支乐团一起我将能有什么样成就。我要一份终身合同，理由只有一个：我要在这支乐团身上花很多时间，以求他能与我最终同心同德。我不能让一个新来的议员说着说着就结束我俩的合作关系。我必须承认，这支乐团通过几十年的成长，正是成长为我梦寐以求的样子。”
不过当时他还有斯卡拉的合约在身。为此卡拉扬与他的朋友兼老板吉永高利（Ghiringhelli）进行了一次面谈，后者很清楚柏林爱乐的职位对卡拉扬的意义，很爽快地同意了卡拉扬的跳槽。
另一方面，柏林爱乐乐团的成员也投票通过了对卡拉扬的任命，意味着卡拉扬将带领乐团旅美。不过卡拉扬在这时提出了一个条件，就是任命文书要在出发之前面交到他的手上并且其任命要得到官方确认。
1955年初，这对新组合踏上了前往新大陆的航班。该次出行赞助人就是西德总理阿登纳。不过就在乐团和卡拉扬到达纽约国际机场的前一周，一阵反对的浪潮差一点就扼杀了这一次巡美演出。美国音乐家联盟和“地方802”（Local 802）在2月20日《纽约时报》头版刊登了一篇文章，名曰《音乐家反对纳粹带领的柏林乐团在此举行的音乐会》。其实从2月8日到27日乐团正式在华盛顿拉开访美帷幕这段时间内，纽约时报几乎天天报道反对卡拉扬战时纳粹身份的抗议声音。韦斯特曼在“地方802”文章刊出后一天声明，自己与卡拉扬虽然的确加入过纳粹党，但只是纯粹地为了在当时能继续工作下去。虽然这声明更多的是煽动了反对派的气焰。不过这些反对最终还是未能成功，原因很简单，因为这次巡回是由西德政府出资的。
2月25日乐团抵达美国，一切平静。卡拉扬对此一切只是做了一简短的声明：“我不谈政治，我只是作为一位音乐家来到这里。”卡拉扬与柏林爱乐在接下来的6个星期以其声音打动了美国听众和乐评界。他们分别在华盛顿，纽约卡内基音乐厅，辛辛那提和巴尔的摩等城市演出。乐评总体来说是正面的。而抗议的声音则在纽约演出之时到达高潮，卡内基门外有人抗议，还有人放飞带有反对标语的鸽子。但即使这样，演出的进行也没有受到影响。
这次美国之行，是一次真真正正的试用期。卡拉扬要向三方面交答卷：一是观众和乐评人，二是柏林爱乐乐团，三是西德政府。不但是艺术方面，卡拉扬还必须在道德和政治方面要表现成熟（例如在美国时言行是否得体，是否会被反对声音打压下去），才能显示自己可胜任柏林爱乐首席一职。卡拉扬不负众望，早在3月5日卡拉扬一行还在匹兹堡逗留时，就已传出乐团大部分成员投票赞成卡拉扬成为他们第四任常任指挥的消息。而等到他和乐团返德之后几天，其任命被柏林政府确认。卡拉扬再一次被问道，他是否愿意继承富特文格勒衣钵，带领柏林爱乐乐团。他回答道：“万分欢喜地接受。”于是，柏林爱乐的权杖历经汉斯·冯·彪罗，尼基什和富特文格勒，终于传到卡拉扬手上。
1956年到1971年，卡拉扬在欧洲炙手可热。他先是出任了萨尔茨堡音乐节艺术指导，历时4年。在1957年，除了率领柏林爱乐乐团首次访问日本之外，他还接受聘任成为维也纳国家歌剧院艺术指导，以一改这座历史悠久的歌剧院颓落之势。在他身上的职称还有：1967年成为柏林爱乐乐团终身指挥，维也纳歌唱协会终身指导，米兰斯卡拉歌剧院首席指挥之一，1969到1971年继去世的查尔斯·孟许（Charles Munch）担任巴黎管弦乐团音乐顾问。
1959年，卡拉扬除了和维也纳爱乐在59年秋季巡回印度，菲律宾，香港和美国等地演出外，还再次为DG公司录音，和柏林爱乐乐团制作出自己第一张立体声唱片，理查德·施特劳斯的《英雄生涯》，这同时也标志着柏林爱乐，卡拉扬和德国唱片公司铁三角长时间的合作的开始。当时的卡拉扬虽然与EMI有录音合约在身，但是柏林爱乐却与德国唱片公司签下过合同。因此合约需要进行修改，使得这对组合能同时为两家品牌录音。在EMI旗下卡拉扬的录音活动后来一直持续到1984年，并录制了不少歌剧，另外还有一些不曾为DG录制过的作品，例如舒伯特的交响曲全集。
有了柏林爱乐和大唱片公司作后盾，卡拉扬就开始有计划大规模地录制古典音乐世界里的管弦乐作品。不过，1959到61这三年间，他只是很谨慎地录制了一些管弦乐炫技曲（Showpieces），例如布拉姆斯的《匈牙利舞曲》和安东尼·德沃夏克《斯拉夫舞曲》中的几首，还有德里布和肖邦的一些舞曲，不过这些录音一朝制成，即成经典。到了61年末，卡拉扬终于开始有大行动，为DG公司录制乐圣贝多芬的全套交响曲，并在62年完成，即俗称的“红卡”。时至今天，纵然市场上有着难以胜数的贝多芬交响曲全套，但是这套录音依然光彩夺目，饱受赞赏。其实，卡拉扬早在接手柏林爱乐乐团时，就已经开始准备这套录音制作。在第一次美国之行前夕，他就排演了《第五》。《第七号》他在55到59年上演过三次。到了开录前，除了《第二》和《第八》，他已将其他交响曲在音乐会上过了最少一遍。
以同样的精心准备，卡拉扬和乐团在63，64年还录制了勃拉姆斯的交响曲全集，巴赫的《勃兰登堡协奏曲》。而柏林爱乐乐团终于在1963年10月15日迎来了自己的家—柏林爱乐大厅。这座大厅是应卡拉扬的技术标准而建成的。一如瓦格纳为拜鲁伊特节庆剧院在开幕之际所做的一样，卡拉扬指挥乐团演奏了贝多芬的《第九交响曲》，以示喜庆。
瓦格纳:《尼伯龙根的指环》
演唱:迪特里希·菲舍-迪斯考&托马斯·斯特华德&杰西·托马斯&黑格尔·布里奥特&佐尔坦·克勒门&乔恩·维克斯&贡朵拉·雅诺薇茨&雷吉内·克莉斯宾&希尔佳·德内施&埃文·沃尔法特&杰哈德·施托尔茨&卡尔·里德布施等
合唱:柏林德意志歌剧院合唱团 演奏:柏林爱乐乐团 DG 457 780-2 GOR14[14CDs]
勃拉姆斯:《德意志安魂曲》女高音:贡朵拉·雅诺薇茨 男中音:艾伯哈德·瓦希特 合唱:维也纳合唱协会合唱团 演奏:柏林爱乐乐团 DG 463 661-2 GOR[1CD]
里姆斯基-科萨阔夫:《舍赫拉查德》柴科夫斯基:《意大利随想曲》&《1812序曲》 演奏:柏林爱乐乐团 DG 463 614-2 GOR[1CD]
勋伯格:《升华之夜》&《佩利亚斯与梅丽桑德》演奏:柏林爱乐乐团 DG 457 721-2 GOR[1CD]
海顿:《创世纪》演唱:贡朵拉·雅诺薇茨&弗里茨·温德里希等 合唱:维也纳歌剧院合唱团 演奏:柏林爱乐乐团DG 449 761-2 GOR2[2CDs]
理查·施特劳斯:《英雄的生涯》瓦格纳:《齐格弗里德的牧歌》演奏:柏林爱乐乐团 DG 449 725-2 GOR[1CD]
马勒:《升f小调第五交响曲》 演奏:柏林爱乐乐团 DG 447 450-2 GOR[1CD]
理查·施特劳斯:《查拉图斯特拉如是说》&《蒂尔·艾伦斯皮格尔的恶作剧》&《唐璜》&《莎乐美的七纱舞》
演奏:柏林爱乐乐团 DG 447 441-2 GOR[1CD]
德沃夏克:《b小调大提琴协奏曲》柴可夫斯基:《洛可可主题变奏曲》
大提琴:米沙·梅斯基&姆斯蒂斯拉夫·罗斯特罗波维奇 演奏:柏林爱乐乐团 DG 447 413-2 GOR[1CD]
理查·施特劳斯:《最后四首歌》&《变形》&《死与净化》 女高音:贡朵拉·雅诺薇茨 演奏:柏林爱乐乐团 DG 447 422-2 GOR[1CD]
贝多芬:《C大调钢琴、小提琴、大提琴三重协奏曲》勃拉姆斯:《a小调小提琴、大提琴二重协奏曲》
钢琴:斯维托斯拉夫·里赫特 小提琴:大卫·费多罗维奇·奥依斯特拉赫 大提琴:姆斯蒂斯拉夫·罗斯特罗波维奇
指挥:赫伯特·冯·卡拉扬&乔治·塞尔 演奏:柏林爱乐乐团&克利夫兰交响乐团 EMI CDM 5 66954 2[1CD]
理查·施特劳斯:《唐·吉诃德》
大提琴:姆斯蒂斯拉夫·罗斯特罗波维奇 演奏:柏林爱乐乐团 EMI CDM 5 66965 2[1CD]
威廉·理查德·瓦格纳〕《帕西法尔》～三幕神圣节日舞台剧
[德国]DGG公司413 347-2GH4[4CDs] 演唱:乔西·范·达姆[阿姆弗塔斯] 维克多·冯·海勒姆[提图雷尔] 库尔特·莫尔[古内曼茨] 彼特·霍夫曼[帕西法尔] 齐格蒙德·尼姆斯根[克林索尔]
1945年 拉赫马尼诺夫第二钢琴协奏曲
1951年 瓦格纳纽伦堡名歌手
1962—1963年 贝多芬交响曲全集
1963年 贝多芬第九交响曲（庆贺柏林爱乐大厅落成现场版）
1963年 比才卡门（现场录音）
1965—1968年 西贝柳斯《第四至第七交响曲》
1967－1970年 瓦格纳：歌剧《尼贝龙根的指环》全剧
1971年 《舒曼交响曲全集》
1973年 威尔第：歌剧《奥塞罗》
1975年 肖斯塔科维奇：第十交响曲
1977年 贝多芬交响曲全集
1981年 霍尔斯特行星组曲（DG 439 011-2）
1987年 维也纳新年音乐会（DG 419 616-2）
1988年 布鲁克纳：c小调第八交响曲（“三冠王”）
1989年 布鲁克纳：e小调第七交响曲（DG 439 037-2）
卡拉扬热爱体育，经常滑雪，飙车，开船和飞机，还练瑜伽，而且他的记忆力惊人，一贯背谱演出。终其一生，他都与技术结缘，从录音录影到机械，甚至手术都会引起他的兴趣，而且他承认自己的个人发展深受媒体技术发展的影响，并尽力在他的演出中使用最新的音频和视频技术。卡拉扬以其录音数量之多广，演绎之精彩在指挥界享有盛誉。西贝留斯曾致信华尔特·莱格说道卡拉扬是“一位大师”。受他细心栽培的穆特说道：“对于那些认识他（卡拉扬）的音乐家来说，他一直是未能超越的巅峰。他的音响有着超出时空的色质。他能够在一支乐队中打造出和谐统一，使之成为一件拥有广大音响和有着独特演绎方式的乐器。这样的传统一直延续着。他是一位完美的音乐家，还是一个出色的心理学家。当然我们每个人都追求着技术方面的完美，但是他的着眼点则首先是音乐的表达。”
而英语界权威的音乐辞典《格罗夫音乐与音乐家词典》则写道：“在他生命的最后30年，没有别的指挥家在音响和织体上比他作出过更大的影响。”
卡拉扬认真对待排练，即使是乐队已经熟习的曲目，他也要求再认真演练。而这种“完美主义者”作风也很受一些与他共事过的人士的赞扬，例如法国的剧院经理米雪·格罗兹（Michel Glotz），卡拉扬的左右手爱华德·马克尔（Ewald Markl）和卡拉扬的传记作者罗宾逊。例如格罗兹的描述则是对卡拉扬的幽默和完美主义的综合：
“他（卡拉扬）在一些方面专制得和卡拉斯别无二样，整个暴君相：卡拉扬是一个极端完美主义者,他就是受不了那种被他称为“吊儿郎当”（德语：Schlamperei）的作风，那简直可以让他发疯。不过除了要求每个人做出最出色的表现外，他倒是很喜欢看到乐队能轻松下来，音乐家和歌手笑起来的。而且他通常是第一个搞起笑的人。”
另外卡拉扬通过“卡拉扬基金”，“卡拉扬指挥比赛”的形式带携提拔了很多年轻音乐家，如苏菲－穆特，小泽征尔，钢琴家基辛，女高音贡杜拉·扬诺维兹等等。这些音乐家后来都成为了音乐界的重要人物。而且，卡拉扬也很喜欢教学，并自称能够在两分钟后得出结论，对方是否合适指挥这一职业。曾经师从过两位大师（另一位是伦纳德·伯恩斯坦）的小泽征尔回忆道，卡拉扬在听过小泽的演出后，经常一针见血地提出批评和建议，并总结道“伯恩斯坦指指这里说说那里。而卡拉扬则是位真正的老师。”
而针对卡拉扬音乐处理的风格所提出的批评，则属于比较主观的范畴。例如斯特拉文斯基就曾经比较负面的评论过卡拉扬所录制的《春之祭》。有时就是柏林爱乐乐团的极个别音乐家也未必认同他对贝多芬的解读。
另外《高保真》杂志的大卫·汉密尔顿则认为卡拉扬在《费德里奥》的录音中压低重音，忽略总谱上强拍的提示。还有威廉·曼则更加认为，卡拉扬缩短休止以求音乐的平滑过渡。不过，对这些音乐理念方面的差异是没有谁是谁非的。卡拉扬在对待总谱上的确有自己的一套，例如当他与乐队排练贝多芬第九交响曲时，对于朗所说道的“点与音符”问题，发生过以下对话：
“卡拉扬：错了，错了！准时上，准时上！我要一直奏下去直到柔板（pianissimo）。你们总是在之前来一个大休止，这是对原谱的误解。
乐队：嗯，但是那些点怎么办？
卡拉扬：它们在那里是为了让音符听起来更佳！它们并不决定音符的强度。那是一种错误的见解。让那些在学校如此讲授的老师成为误人子弟者吧！准时上! ”
