史万岁是京兆杜陵人。他的父亲史静，曾官任北周沧州刺史。史万岁年轻时英俊威武，擅长骑马射箭，勇猛凶悍，敏捷如飞，喜读兵书，并精通占卜。
北周保定四年（564年），北周和北齐战于洛阳城北之北邙山（今河南洛阳市北）。15岁的史万岁随史静在军中，他观察战场形势，认为周军将败，并令左右换装离去。不久，周军果然大败，史静因此对他的才能十分惊奇。周武帝在位时，他由平民百姓提升为侍伯上士。
北周建德六年（577年），周武帝宇文邕率军平齐，史静战死。史万岁因为是忠臣之子，拜开府仪同三司，袭爵为“太平县公”。
北周大象二年（580年）五月，北周宣帝宇文赟病死。周静帝宇文衍年幼，左丞相杨坚专政。六月，相州（今河北省临漳西南邺镇）总管尉迟迥（北周文帝宇文泰外甥）恐杨坚专权对北周不利，公开起兵反对杨坚。史万岁随行军总管梁士彦前往征讨。
军至冯翊（今陕西大荔县），有群雁飞来，史万岁对梁士彦说：“请允许我射下那一行中的第三只雁。”于是发弓射去，雁应弦而落。三军见史万岁射技如此高超，无不心悦诚服。军至河北，与尉迟迥军相遇，史万岁每战先登，勇冠三军。邺城（今河北省临漳西南）之战，官军初战不利，稍稍退却，情势十分危急，史万岁大呼：“事情紧急了，我们应当攻破敌阵。”于是身先士卒，驰马奋击，连击数十人，其余部众也齐心协力作战，官军士气复振，迅速扭转了战局。平叛后，史万岁因功拜为上大将军。
数年后，史万岁因大将军尔朱绩谋反被杀而受牵连，发配敦煌（今甘肃敦煌西）为戍卒。敦煌戍主甚勇武，常常单独一人骑马深入突厥部落中，掠夺羊马，总是有大收获。突厥无论多少人，没有敢抵挡他的。因此戍主颇自负，常辱骂史万岁。史万岁非常忧虑，于是自言也精于骑射。戍主令其驰射，见果有功底，笑着说：“你定然不错。”。史万岁请求骑马带弓，再入突厥中掠夺羊马，很快抢获大批牲畜回营了。戍主这才改变了对史万岁的态度，常与他同行，深入突厥境数百里，名振北夷。
当时隋文帝为完成统一大业，正与突厥作战。隋在抗御突厥进攻的同时，已完成了反击准备。
隋开皇三年（583年）四月，隋军发起全面反击。隋文帝杨坚命秦州总管窦荣定率九总管、步骑兵三万，由凉州（治今甘肃武威）道北击突厥。五月二十四日，与突厥阿波可汗所部在高越原（今甘肃民勤西北）地区相拒。高越原地处沙漠地带，干枯无水。窦荣定军刺马血解渴；死者十分之二三。忽然遇雨，隋军士气大振。窦荣定乘势挥军奋力冲击，多次挫败阿波军。史万岁此时自投军门请求报效，要求立功赎罪。窦荣定数闻其骁勇，便于二十五日派人向突厥提出：“士兵有什么罪过，何必让他们互相残杀呢？只在两军中各选一位勇士决斗比个胜负吧！”阿波可汗应允，遂派一名骑将挑战，窦荣定派史万岁出马应战，史万岁冲过去，砍下突厥勇士的头颅得胜而回。突厥大惊，不敢再战，即请议和而退。因此被授上仪同，兼车骑将军。
开皇九年（589年），因参加隋灭陈之战有功，加上开府。
江南自东晋以来，世家士族一直欺压寒门庶族。隋灭陈统一中国后，南方士族豪强因对隋实行的限制政策不满，便利用民间对隋欲移民关中流言的惊恐心理，乘机煽动叛乱。隋开皇十年十一月，婺州（治今浙江金华）汪文进、越州（治今浙江绍兴）高智慧、苏州沈玄侩等均举兵反隋，自称天子，署置百官，起兵攻陷州县，反乱大抵遍及原陈属地。其规模大者数万人，小者数千人，互相呼应，残杀隋朝官吏。隋文帝杨坚命内史令杨素为行军总管率军平叛。
杨素初败高智慧后，即派史万岁（时为行军总管）率军二千进攻婺州，杨素则率主力由海道追击逃入海中的高智慧，直趋温州。史万岁率军从东阳（今浙江省中部金华江上游）别道而进，平定蔡道人、汪文进，翻岭越海，攻陷溪洞不可胜数，历经700多次战斗，转战千余里，击败叛军无数。史万岁军数十日杳无音信，远近皆以为其部已全军覆没。由于水陆交通阻绝，信使不通，史万岁只得置书信于竹筒之中，浮于水上，顺流而下。有取水之人得到竹筒后，报告给杨素。杨素大喜，并上奏报于隋文帝。隋文帝接报后赞叹不已，赐史万岁家钱十万，官拜左领军将军。杨素军也继续追击反隋散兵，抓获高智慧，平定了叛乱。
南宁州（治味县，今云南曲靖西）羌族首领爨翫于隋初接受招抚，被任命为昆州（治在今云南昆明市西郊马街附近）刺史，后又叛隋。
开皇十七年（597年）二月，隋文帝史万岁为行军总管击爨翫。史万岁率部经蜻蛉川（今云南大姚）、弄栋（今云南姚安北）、小勃弄、大勃弄（二地均在今云南下关东南），进入南宁州地区。爨翫依险固守，均被史万岁击破。隋军行数百里，经过诸葛亮纪功碑，见其背刻铭文：“万岁以后，超过我的就过此界。”史万岁令左右将碑倒置，继续向西挺进，渡西洱河（今云南洱海），入渠滥川（位于云南下关东北），转战千余里，破西南羌族30余部，俘二万余人，诸羌大惧，爨翫被迫再度请降。献明珠宝物，表示愿听约束，并刻石勒铭，赞颂隋朝圣德。史万岁遣使飞骑上奏，请将爨翫入朝，隋文帝准其所奏。
但爨翫心怀二志，不想随军入朝，便以金宝贿赂史万岁，于是史万岁便放爨翫而还。当时蜀王杨秀正在益州（今四川省成都），知其受贿，派人索取。史万岁闻知此事，将所得金宝全部沉于江底，杨秀无所获，只得作罢。史万岁以平定南方各部落之功，位进上柱国，晋王杨广虚怀敬重他，并用朋友的礼节待他。隋文帝知道他被晋王看好，就派万岁监管晋王府的军中事务。
第二年，爨翫又反叛。蜀王杨秀弹劾史万岁受贿纵贼，致生边患，毫无大臣气节。隋文帝下令严查此事，查对属实，其罪当死。隋文帝责问他：“你接受贿赂私自放走贼寇，让士卒军马再度受到劳累。朕每想到将士们的辛苦，寝不安席，食不甘味，你这种做法难道是社稷臣该做的吗？”史万岁辩解说：“臣留着爨翫一条性命，是担心这个地方会有变故，将他留下加以镇抚。臣撤军到达泸水，诏书才到，因此没有将他押送入朝，实在不是接受了贿赂。”隋文帝见史万岁心有欺隐，大怒道：“我原以为你是个良臣，怎么如今官职大俸禄重，反而变成国贼了呢？”并对有司说：“明天就杀掉他。”史万岁惧而服罪，向隋文帝顿首请命。左仆射高颎和左卫大将军元旻等见他已认罪，便也为他说情：“史万岁才略非同一般，每次率军作战，身先士卒，又善于抚恤将士，大家乐意为他效力，即使是古代名将也难超过他。”隋文帝听后，怒气稍解，将他削官为民。一年后，恢复官爵，授河州（今甘肃省临夏东北）刺史，兼领行军总管，以防备胡人来犯。
开皇十九年（599年），突厥都兰可汗被部下所杀，其部落大乱。为挽救突厥颓势，达头可汗自立为步迦可汗，于开皇二十年（600年）四月率兵进犯隋边。隋文帝命晋王杨广、尚书右仆射杨素出灵州（治回乐，今宁夏灵武西南），汉王杨谅与史万岁出朔州（治善阳，今山西朔县），合击步迦可汗。史万岁率柱国张定和、大将军李药王、杨义臣出塞，军至大斤山（即今内蒙大青山），与步迦可汗军遭遇。步迦可汗派人问：“隋军主帅是谁？”侦察骑兵报告说：“是史万岁。”步迦可汗又问：“莫不是敦煌守卒史万岁？”侦察骑兵说：“是啊。”步迦确定隋军统兵将帅是当年威震敦煌的史万岁后，慌忙引军回撤。史万岁挥马追击百余里，大破突厥军，斩杀数千。又继续跟踪追入沙漠数百里，凯旋而归。
史万岁自大斤山回京后，杨素妒忌其功，在隋文帝面前谮言史万岁，说：“突厥已经投降了，况且他们本来不是入寇，只是放牧而已。”因此隐瞒了他的功劳，不予褒奖。史万岁数次上表陈述，隋文帝仍未醒悟。
此时隋文帝从仁寿宫初还京师，并刚废掉太子杨勇，所以严防东宫结党谋变。隋文帝问史万岁现在何处，其时史万岁正在朝堂，但杨素见隋文帝正怒，却故意说：“万岁拜访东宫去了。”以激怒隋文帝。隋文帝果然信以为真，立即下令召见史万岁。当时出征将士数百人在朝称冤，史万岁对众人说：“我今天把你们的功劳极力地陈述给皇上，事情会解决好的。”史万岁见到隋文帝后，说：“将士有功，却被朝廷所抑制！”他的语气激昂愤慨，对隋文帝也不顺从。
隋文帝越发震怒，令武士将史万岁暴杀于朝堂。史万岁死后，隋文帝追悔莫及，但为了尊严，还是下诏列出许多罪名。身死之日（十月初九，即公元600年11月20日），全国上下得知消息的，认识或不认识史万岁的，没有一个不惋惜的。有一子史怀义。
史万岁在隋朝统一天下的战争中，立下了不朽的功绩。开皇三年（583年），隋朝秦州总管窦荣定奉命进攻突厥。在窦荣定率军与突厥军对阵之时，史万岁一马当先站于阵前，史万岁单骑出战，仅几个回合，史万岁就砍下了敌将的脑袋。突厥首领畏惧，立即引军逃去。因战突厥有功，窦荣定表奏朝廷，称赞史万岁对隋朝政权的忠诚和作战之勇敢。
开皇十年（590年），江南的高智慧等人起兵作乱。朝廷命内史令杨素平江南之乱，令史万岁为行军总管。史万岁领命之后，一路逾岭翻山跨海过江，前后经战数百次，攻陷溪洞无数，转战千余里，毙敌不可胜数，其间有三个多月没有史万岁的消息，人们都以为史万岁已全军覆灭。其实是由于山高水险，道路不通，无法回音。史万岁获胜之后，砍下许多竹筒，将书信置于其中，投入水中任其漂流，这些书信终于传到了杨素手中。平定江南的战斗胜利之后，杨素上书表奏史万岁之功，杨坚甚喜，赐其家钱十万，晋升史万岁为左领军将军。
开皇十七年（597年），南宁州（今云南境内）部族首领起兵反隋，杀隋官吏，气焰嚣张。朝廷立即命史万岁前往征讨。史万岁率军一路跨溪越涧，吃尽甘苦，不远万里来到南宁州。克服了水土不服、疾病群起的困难，一路进剿七州。行数百里，见当年诸葛亮南征时所立功碑。碑的背面刻字日：“万岁之后，胜我者过此。”史万岁令士卒推倒石碑，大举向前进攻。史万岁深入敌境，兵锋锐利，所到之处无城不摧，先后消灭叛族军队三十余部。叛族首领知难胜史万岁，提出投降，归顺隋朝。
