山涛的父亲山曜，官至宛句县县令。山涛早年丧亲，家中贫困。少年时即有器量，卓尔不群。喜好《庄子》《老子》，常隐居乡里，掩盖自己的志向才能。与名士嵇康、吕安为友，后又遇阮籍，成为竹林之交，几人志趣契合，为莫逆之交。嵇康后来因得罪司马氏而被治罪，临死前对儿子嵇绍说：“有巨源（山涛字）在，你就不会孤独无靠了。”
山涛四十岁时才入仕途，最初担任河内郡里的主簿、功曹及上计掾。后被举为孝廉，又被州里征辟为河南从事。
一次，山涛与石鉴共宿，夜里起来用脚踢一下石鉴，对他说：“如今是什么时候，你还在睡！知道太傅（指司马懿）称病卧床是何用意吗？”石鉴回答说：“宰相多次不上朝，给他个尺把长的诏书让他回家就是了，你何必操心呢！”山涛说：“咄！石生不要在马蹄间来往奔走啊！”于是丢弃官符而去。正始十年（249年），司马懿果然发动高平陵之变，诛灭了曹爽集团，山涛于是归隐不问世事。
山涛的从祖姑山氏是司马懿夫人张春华的母亲，因而可以见到掌权的司马师，司马师说：“当世的吕望是想做官吧！”于是命司隶校尉举山涛为茂才，授任郎中，又转任为骠骑将军王昶的从事中郎。
很久以后，山涛被拜为赵国国相，调任尚书吏部郎。大将军司马昭写给山涛的信说：“足下任职清明，高雅之操超群出世。顾念您家中贫乏，现今送去钱二十万、谷二百斛。”
魏元帝曹奂曾赐司马师春服，司马师转赐给山涛，又因山涛母亲年老，赐藜杖一根。山涛后来与尚书和逌交好，又与钟会、裴秀亲近。因钟、裴二人争权夺利，山涛不偏不倚，二人都从山涛那里得到好处而对他无恨。后迁为大将军从事中郎。
景元五年（264年），钟会在蜀地作乱，司马昭准备亲自西征。当时曹魏的宗室都在邺，司马昭对山涛说：“西边的事我亲自去处理，后方的事诚心委托于您。”让山涛监视宗室的动静，以本职行军司马，拨给亲兵五百人镇守邺。
同年，受封为新沓子。转为相国左长史，统领别营兵。司马昭认为山涛是乡闾中素有德望的人，于是命长子司马炎（晋武帝）拜见他。司马昭将儿子司马攸过继给司马师，平日又看重司马攸，曾经问裴秀道：“大将军（指司马师）开国建业，未成而亡，我只是继承他的事业，所以想要立司马攸为世子，以归功于兄长，如何？”裴秀认为不可。又以此事问山涛，山涛回答说：“废长子立少子，违背礼制，是不祥的。国家的安危将由此事决定。”于是才定下以司马炎为世子，司马炎为此亲自拜谢山涛。
咸熙二年十二月丙寅（266年2月8日），司马炎受禅即位，建立西晋，任命山涛为守（代理）大鸿胪，护送曹奂返回邺城。
泰始（266年－274年）初年，武帝加山涛为奉车都尉，晋爵为新沓伯。羊祜执政时，有人要陷害裴秀，山涛厉言正色保护裴秀，因此不合权臣之意，出任冀州刺史，加宁远将军。
冀州风俗鄙薄，无推贤荐才之风。山涛鉴别选拔隐逸之士，查访贤人，表彰或任命三十多人，都显名于当世。山涛因此受到百姓士人的仰慕推崇，当地风俗也为之改变。
后来，山涛又转任北中郎将，督邺城守备事。后入朝为侍中，迁尚书。因母亲年老请求辞职，司马炎下诏说：“您虽然想要奉养老母，然而职务有上下公私之分，家中早晚有人侍奉医药，您应当暂割情爱，以兴一心在公之德。”山涛决心辞官，表疏上了几十次，司马炎很久才答应了他的要求，授议郎衔返回府第。司马炎因山涛清贫俭约，无法供养家人，特别供给每日膳食，加赐床帐被褥。礼遇厚重，当时没有人能与他相比。
泰始十年（274年），山涛被任命为太常，因疾病没有就职。适逢母亲去世，他于是返回乡里。
当时，山涛已年过七十，守丧超过常礼，亲自背土堆坟，亲手种植松柏。司马炎下诏任命山涛为吏部尚书。山涛以母丧身病为由辞让，表章情意恳切，此时司马炎皇后杨艳去世，山涛于是勉强扶持还洛阳。为诏命所逼迫，勉强就职。前后荐拔的人遍及京师和州郡，都是有用的人才。
咸宁（275年－280年）初年，转任太子少傅，加散骑常侍。又被授为尚书仆射，加侍中，领吏部事务。山涛因自己年老多病，坚意辞让，于是上表陈情。上章表数十次，很久没有就职理事。
尚书左丞白褒奏山涛违诏。司马炎说：“山涛因病自求辞职，只是没有听从他的要求罢了。如山涛用人不当而坐罪是可以的，何必上下动手，颠倒轻重呢？不得再追究此事。”山涛内心不安，于是上表谢罪说：“自古以来行王道者守正而已。陛下不能因为一个老臣而改变国法，臣有何心向皇上陈辞。请照白褒所上之表处置，以显示不枉刑法。”司马炎又下手诏说：“白褒所奏是虚妄的，我所以未追究他的责任，是我不喜欢动辄发怒，您是明智而有度的人，哪能介意呢！应当就职理事，不让他们再上章表就是了。”
山涛决心引退，因为堂弟媳发丧，返回外舍。司马炎下诏说：“山仆射近日暂时出居，因有所操劳而未还，这不是我坐侧席而待贤的意思。现派遣丞掾奉旨告谕，若身体尚未康复，便坐舆车抬回府寺。”山涛辞让不能获准，无奈之下才就职理事。
山涛再次任选职十余年，每逢官位有缺，总选又几位备用的人，看到诏旨倾向于某一人，然后才明言上奏，先将司马炎所想用的人提出，所以司马炎所想用的人，有时没有先提出来，众人不了解详情，认为是山涛凭自己的意愿用人。有人在司马炎面前说山涛的不是，所以司马炎亲手写诏告诫山涛说：“用人的标准是有才，不遗漏疏远孤贱而有才的人，教化才能遍行于天下。”而山涛还是照样行事，一年以后，众人的意见才平息。山涛所荐拔上奏的人物，列名成册，当时称为《山公启事》。 [20] 他前后选举百官都选贤用能，只有用陆亮，是司马炎诏命所任用的，与山涛意见不一，山涛争辩而司马炎不听。陆亮不久也因为贪污受贿而被罢免。
山涛在朝处于各派之中，晚年时正值杨皇后亲党专政。山涛不愿用杨氏，多次讽谏司马炎，司马炎虽领悟其意而终究不能改正。后来，山涛因年迈病重，上疏告退说：“臣年近八十，苟延残喘于旦夕，若对国家还有毫末之益，怎能留余力于盛世。迫于衰老，不能再负重任。当今四海无事，天下思从教化，从民心而行无为之政，百姓自能正己。只是应当崇尚风教以使民俗归厚罢了，陛下又有何事可做。臣耳聋目昏，无力奋进。君臣父子之间无须掩饰，因而直陈愚情，希望答应臣的请求。”于是摘下帽子，赤脚徒步送还印绶。
司马炎下诏安慰山涛，山涛上表苦苦求退，司马炎又下诏不许。尚书令卫瓘上奏说：“山涛因有小病，久不履职。频繁下诏，还不服从诏命。朝中议论以为这样不能成全他的高尚之节，也违背在职为公的要求。若山涛病情沉重，也不宜居官位。可免去山涛官职。”司马炎下诏给卫瓘说：“山涛有德操，素为众望所归，而深心退让，十分恳切。故连续下诏，必求改变他的主张，以匡扶朝廷，弥补缺漏。主事者不明诏书深意，反而加以曲解，这有损于崇贤之风，给我加上轻贤无德之名，怎能给远近之人做出表率呢？”山涛不得已又就职理事。
咸宁五年（279年），司马炎在杜预、张华的支持下决意伐吴，贾充、荀勖等人不同意伐吴，坚持他们的意见，司马炎大怒，贾充立即脱帽认罪。山涛退朝回来和别人说：“古人云，‘只有圣人能做到内外无患，假如不是圣人，外部安宁了就必然有内部的忧患。’以我朝目前的情况来看，留着吴作为外部威胁，难道不是良计吗？”
太康（280年－289年）初年，迁任尚书右仆射，加光禄大夫、侍中，掌选职如前。山涛因年老身病坚决要求辞职，司马炎亲手写诏说：“您的道德为世人楷模，况先帝已识您的高远之志。我将依靠您以使风俗淳厚，您为何要舍弃朝政以求高名呢！我的至诚之心还不足以使您明白吗？为何上表的言论是那样恳切。应当及时自勉，以慰我深切之望。您不改变引退之志，我将卧不安席。”山涛又上表坚意辞让，司马炎不许。
天下一统之后，司马炎下诏罢除天下兵役，表示海内平安无事，州郡都解散军队，大郡设置武吏一百人，小郡设武吏五十人。司马炎曾在宣武场讲武，山涛当时有疾病。司马炎下诏乘坐人拉的辇车跟从。山涛当时与卢钦讨论用兵之本（卢钦已于平吴前去世，或许是记载错误，司马炎于咸宁年间也曾在宣武场讲武）。认为不应该废除州郡武备，他的论点很精湛。
时人都认为山涛虽然不学孙武、吴起的兵法，但其论兵暗与兵法合，司马炎称赞道：“真是天下之名言啊！”但不能采用。在晋惠帝永宁（301年－302年）年间后，多次发生事变，盗贼蜂起，各郡国都因无军备而不能制止，于是导致天下大乱，果如山涛所言。
太康三年（282年），武帝下诏，升授山涛为司徒，位列三公。山涛坚意辞让，司马炎下诏说：“您年迈而德高，是朝中元老，因而授给台辅之位，但您崇尚谦让之远名，反复推辞，令我心中忧虑。您应该坚持始终，辅助我呀。”
山涛又上表说：“臣侍奉天朝三十余年，对德政教化无毫厘功效。陛下私心爱臣不已，枉授三司之任。臣听说德行薄陋而位高，力量少而责任重，这样导致上有败坏国事之祸，下有损伤家庙祖宗之咎。希望陛下念累世君臣之恩，乞求骸骨以归故里。”司马炎下诏说：“您辅助朝政，保护治理皇家，匡扶之功，为朕所依赖。司徒之职，实掌国家教化，因而敬授予您，以满足群臣百姓之望，怎能只顾谦让而贬低自己呢！”
司马炎下令，不准山涛再上章表辞职，使者把印绶交给卧病在床的山涛。山涛说：“将死之人，怎能玷污官府呢！”于是卧病乘车归家。
太康四年（283年），山涛去世，终年七十九岁。司马炎下诏赐棺木朝服各一具、衣一套、钱五十万、布百匹，以供丧事之用，策命追赠司徒的蜡印紫绶、侍中的貂蝉及新沓伯的蜡印青朱绶，以太牢礼仪祭祀，赐谥号“康”。
山涛将要下葬时，司马炎又赐钱四十万、布百匹。司徒左长史范晷等上奏说：“山涛旧宅第仅有屋十间，但子孙众多，容纳不下。”司马炎于是为山涛家建了住宅。
山涛有文集十卷，《全晋文》录入五卷，今已佚。《全晋文》辑录有其文：《为子淳尤辞召见表》《表谢久不摄职》《表乞骸骨》《上疏告退》《启事》《答诏问郄诜事》等。
《淳化阁帖》收录有其书法作品《侍中帖》八行法帖。
司马师：吕望欲仕邪？
司马昭：足下在事清明，雅操迈时。
裴楷：见山巨源如登山临下幽然深远。
司马炎：①涛以德素为朝之望，而常深退让，至于恳切。②涛清风淳履，思心通远，宜侍帷幄，尽规左右。③议郎山涛，至性简静，凌虚笃素，立身行已，足以励俗，其以涛为吏部尚书。④涛秉德冲素，思心潜通，清虚履道，有古人之风。⑤君以道德为世模表，况自先帝识君远意。⑥君年耆德茂，朝之硕老，是以授君台辅之位。⑦君翼赞朝政，保乂皇家，匡佐之勋，朕所倚赖。
王戎：如浑金璞玉，人皆钦其宝，莫知名其器。
