皇甫嵩的叔叔皇甫规是东汉名将、凉州三明之一，父亲皇甫节曾任雁门郡太守，久为边将。皇甫嵩少年时便有文武志介好诗书，熟习弓马。最初被察举为孝廉、茂才。为郎中，迁任霸陵、临汾县令，因父亲去世而离职。后来，太尉陈蕃、大将军窦武相继聘他为官，都没有应召。汉灵帝以公车征辟他为侍郎，迁任北地太守。
主词条：黄巾之乱
光和七年（184年），因叛徒唐周告密，太平道教主张角星夜传檄四方，发动起义，史称“黄巾之乱”。黄巾军所到之处，燔烧官府，劫略乡邑。一时，州郡失守，长吏逃亡，天下响应，京师雒阳为之震动。
东汉朝廷对此惶恐不安，马上采取镇压措施。首先，汉灵帝命各州郡在雒阳外围的八个关隘——函谷、太谷、广成、伊阙、轘辕、旋门、孟津、小平津设置都尉，布防护卫；接着，任命何进为大将军，率左、右羽林军屯驻都亭；朝廷还采纳了皇甫嵩和中常侍吕强的建议，解除党禁，赦免天下党人，拿出中藏钱和西园厩马赐给将士；另外，灵帝起用卢植为北中郎将、皇甫嵩为左中郎将、朱儁为右中郎将，各持节，调发全国精兵分击黄巾军。
皇甫嵩与朱儁调发五校（北军五校，为中央主要常备军，即屯骑、越骑、步兵、长水、射声五校尉所将宿卫兵）三河（河东、河内、河南）骑兵，同时招募精壮之士，共计四万多人。二人各率一部，共同镇压颍川（郡治阳翟，今河南禹县）黄巾军。
朱儁先与黄巾军波才部作战，失败。皇甫嵩只得退守长社（今河南省长葛县东北），波才率军围城。当时，城中兵少，众寡悬殊，军中震恐。皇甫嵩安慰部下，他说：“用兵有奇变，而不在兵数量多少。现在贼人依草结营，容易因风起火。如果乘黑夜放火焚烧，他们一定惊恐散乱，我出兵攻击，四面合围，田单守即墨用火牛攻燕而获胜的功劳就可以实现。”天遂人愿，当晚大风骤起。皇甫嵩命令将士扎好火把登上城墙，先派精锐潜出围外，纵火大呼，然后城上点燃火把，与之呼应。皇甫嵩借此声势，鸣鼓冲出。黄巾军缺乏战斗经验，惊慌散乱，被迫后撤。这时，骑都尉曹操也奉命赶来，于是皇甫嵩、曹操、朱儁合兵，乘胜追击。黄巾军顽强抵抗，数万人遭屠戮。皇甫嵩则被封为都乡侯。
接着，皇甫嵩又和朱儁一起乘胜镇压汝南、陈国地区的黄巾军，并追击波才、进攻彭脱，连连取胜，平定了三郡之地。
八月，皇甫嵩在苍亭击败黄巾卜已部，擒获卜已，屠杀七千多人。这时，张角占据广宗，控制河北腹地，卢植为宦官所诬，被召回，继任的董卓被击败。于是朝廷下诏命皇甫嵩率兵进击。在这紧要关头，张角病死，其弟张梁继而守卫广宗。皇甫嵩攻城，因张梁军精锐，未能得逞，便闭营休士，以观其变。等到张梁被迷惑，放松了警惕。皇甫嵩立即乘夜调兵，鸡鸣时分冲入其阵，黄巾军仓促应战，张梁战死，阵亡三万多人，投河而死的有五万多人。皇甫嵩焚烧黄巾辎重车三万多辆，将张角“剖棺戳尸，传首京师”。
十一月，皇甫嵩与巨鹿太守郭典攻克下曲阳（今河北晋县西北），杀死张角弟张宝，俘杀十余万人。皇甫嵩将十万人的尸骨筑成了“京观”。朝廷任皇甫嵩为左车骑将军，领冀州牧，并晋封他为槐里侯，食槐里、美阳两县的租税，食邑共八千户。
平定黄巾主力之后，皇甫嵩奏请免除冀州一年田租，用来赡养饥民，灵帝听从他的建议。史载百姓作歌说：“天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。”
皇甫嵩镇压黄巾，威震天下，但当时朝政日非，海内空虚。汉阳人阎忠劝他把握机会，南面称制。皇甫嵩不用其计。
黄巾起义的同年，湟中（今甘肃湟原）胡人北宫伯玉和先零羌起事，共拥边章、韩遂为帅，攻杀护羌校尉泠徵、金城太守陈懿。中平二年（185年），北宫伯玉等人侵三辅地区，朝廷诏令皇甫嵩回镇长安，保卫皇家园陵。
当初皇甫嵩征讨张角时，途经邺地，发现中常侍赵忠住宅超过了规定，便上奏皇帝予以没收。另外，中常侍张让向他索要五千万钱，他不肯给。于是赵忠和张让联起手来，劾奏皇甫嵩连战无功，耗费钱粮。灵帝听信谗言，召回皇甫嵩，收回他的左车骑将军印绶，削夺封户六千。改封都乡侯，食邑二千户。
主词条：凉州之乱
中平五年（188年）十一月，凉州叛军首领王国包围陈仓（今陕西宝鸡东），在此用人之际，汉灵帝又任命皇甫嵩为左将军，督领前将军董卓，各率两万士兵拒敌。董卓提出迅速进赴陈仓，他说：“聪明人不失时机，勇敢的人不迟疑。现在救，城就可以保全；不救，城就会破灭。保全或破灭的形势就在此时。”皇甫嵩却说：“不对。百战百胜，不如不战而屈人之兵。所以先要作出不可获胜的样子，用来等待可以战胜敌人的时候。不可胜在我，可胜在敌人。敌人防不胜防，而我郡军进攻则非常主动，想打哪里就打哪里。有余的，好像动于九天之上，不足的，好像陷入九地之下。现在陈仓虽然小，但守城的工事坚固完备，不是九地之坑陷，王国军队虽然强，但进攻我所不救的，不是九天之上的形势。没有九天之上的形势，进攻的就要受害。陷入九地之下，防守的就不会被攻破。王国现在已经陷入受害之地，陈仓可保不被攻破。我可以兴兵动众，收到全胜的功，为什么要救呢!”没有采纳董卓的建议。
中平六年（189年），王国围攻陈仓从冬到春，已有八十多天，但由于城坚守固，最后也未能攻下，部众都疲劳不堪，只好解围撤退。皇甫嵩立即起兵追击。董卓劝阻说：“不可以，兵法上说，被击败的敌人，不要追赶，撤回去的部队，不要逼迫。现在，我们追击王国，是逼迫撤回的部队，是追击被打败的敌人，被围困的野兽，还要挣扎，蜂虿有毒，何况这么多人呢！”皇甫嵩则说：“不对。以前我不进击，是躲避他的锐气，现在进击，是等到敌人衰弱的时候。我们进击的是疲敝的敌人，不是撤回去的部队。王国的部队，准备逃走，没有斗志。用堂堂之阵，进击溃乱之师，这不是叫做追穷寇。”说完，便独自率兵追击，而命董卓殿后。皇甫嵩连战连捷，大破王国的部众，斩杀一万多人。董卓又惭愧又遗憾，愈加忌恨皇甫嵩。
中平六年（189年），灵帝病重，任命董卓为并州牧，让他把部队交给皇甫嵩统领。董卓不肯奉命。皇甫嵩的侄儿皇甫郦认为董卓逆命怀奸，罪在不赦，力劝皇甫嵩兴兵讨伐。皇甫嵩说：“董卓不听命虽然有罪，但我专诛也是有责的。不如正大光明地上奏，让朝廷处理此事。”于是将此事上奏，朝廷责备董卓，董卓对皇甫嵩更增怨恨。
初平元年（190年），董卓为防后院起火，征京兆尹盖勋为议郎，皇甫嵩当时统兵三万驻扎在扶风郡，盖勋秘密与皇甫嵩商议讨伐董卓。但董卓同时也召皇甫嵩为城门校尉，想寻找机会将他杀掉。皇甫嵩应召将行，长史梁衍劝他起兵抗拒董卓，与袁绍呼应。皇甫嵩不听，盖勋因自己兵弱不能独立，也回到雒阳。皇甫嵩一到，主管官员便秉承董卓之意，上奏朝廷，将他交付审判，想把他杀掉。
皇甫嵩的儿子皇甫坚寿跟董卓有交情，从长安跑到雒阳，投奔董卓。董卓正摆设酒宴，大会宾朋，皇甫坚寿抢步向前，与他辩理，且责以大义，叩头落泪。在座的宾客深受感动，纷纷替皇甫嵩求情。董卓这才离席而起，拉皇甫坚寿和自己同坐，并派人释放皇甫嵩，任命他为议郎。后又升任御史中丞。
初平三年（192年），董卓被杀后，朝廷任命皇甫嵩为征西将军，屠灭董卓宗族。曾有人向司徒王允建议派皇甫嵩统领董卓的旧部，并留驻陕县进行安抚。王允拒绝此议。不久，董卓旧部李傕、郭汜攻入长安，杀死王允等，把持朝政，皇甫嵩又改任车骑将军，同年八月，升任太尉。十二月，因流星出现，被策免。此后，又任光禄大夫、太常等职。
兴平二年（195年），皇甫嵩病逝，朝廷赠以骠骑将军印绶，任命他家里一人为郎官。
建中三年（782年），礼仪使颜真卿向唐德宗建议，追封古代名将六十四人，并为他们设庙享奠，当中就包括“太尉槐里侯皇甫嵩”。及至宣和五年（1123年），宋室依照唐代惯例，为古代名将设庙，七十二位名将中亦包括皇甫嵩。 在北宋年间成书的《十七史百将传》及明代成书的《广名将传》中，皇甫嵩亦位列其中。
皇甫嵩平黄巾之乱居功至伟。他先以火计在长社大破黄巾波才部，斩杀数万人，趁势与朱儁平定汝南、陈国等地，并在苍亭击败黄巾卜已部。随后他受命接替卢植围攻广宗，闭营示弱，趁黄巾首领张梁放松警惕后，攻克该城，杀死张梁，使黄巾军受到沉重打击。广宗陷落后，他又麾兵攻克下曲阳，杀死张角弟张宝，俘杀十余万人。至此，黄巾主力被消灭殆尽。
中平五年（188年），皇甫嵩又奉命解陈仓（今陕西宝鸡东）之围。他以疲兵之计静待围城的凉州王国叛军困乏不堪。待王国于次年（189年）主动撤围时，皇甫嵩果断率军出击，连战连捷，斩杀叛军一万多人。
皇甫嵩兼领冀州牧时，正逢战乱之后。他要求朝廷减免冀州一年田税，受到百姓的称道。
文学形象
在小说《三国演义》中。皇甫嵩形象与正史相似。于黄巾起义时，以中郎将身份讨伐黄巾，用火攻大破张梁、张宝。后接替董卓进攻张梁，连胜七阵。掘张角墓，拜左车骑将军、冀州牧，因拒绝贿赂宦官而被免职。董卓死，王允命其与吕布等共至郿坞抄籍董卓家产、人口，皇甫嵩将坞中所藏良家子女，尽行释放。
百姓歌曰：天下大乱兮市为墟，母不保子兮妻失夫，赖得皇甫兮复安居。
阎忠：今将军授钺於初春，收功於末冬，兵动若神，谋不再计，旬月之间，神兵电扫，攻坚易於折枯，摧敌甚於汤雪，七州席卷，屠三十六方，夷黄巾之师，除邪害之患，或封户刻石，南向以报德，威震本朝，风驰海外。
皇甫郦：本朝失政，天下倒悬，能安危定倾者，唯大人与董卓耳。
《东观汉记》：皇甫嵩上言，四姓权右，咸各敛手也。
范晔：①皇甫嵩、朱儁并以上将之略，受脤仓卒之时。及其功成师克，威声满天下。值弱主蒙尘，犷贼放命，斯诚叶公投袂之几，翟义鞠旅之日，故梁衍献规，山东连盟，而舍格天之大业，蹈匹夫之小谅，卒狼狈虎口。为智士笑。岂天之长斯乱也？何智勇之不终乎！前史晋平原华峤，称其父光禄大夫表，每言其祖魏太尉歆称“时人说皇甫嵩之不伐，汝豫之战，归功朱儁，张角之捷，本之于卢植，收名敛策，而己不有焉。盖功名者，世之所甚重也。诚能不争天下之所甚重，则怨祸不深矣”。如皇甫公之赴履危乱，而能终以归全者，其致不亦贵乎！故颜子愿不伐善为先，斯亦行身之要与！②黄妖冲发，嵩乃奋钺。孰是振旅，不居不伐。
