高士廉年轻时很有器量，对文史典籍也有所涉猎，与司隶大夫薛道衡、起居舍人崔祖浚是忘年之交，因此得到公卿的赞许。自以为是北齐宗室，不宜广交名流，于是隐居在终南山，闭门谢客。
隋炀帝大业年间，高士廉出任治礼郎。609年（大业五年），高士廉因妹夫长孙晟病逝，便将妹妹高氏接回家中，并厚待外甥长孙无忌、甥女长孙氏。后来，高士廉发现李渊次子李世民才华出众，便将甥女长孙氏嫁给他，这就是后来的文德皇后。
613年（大业九年），兵部尚书斛斯政逃奔高句丽。高士廉因与斛斯政有交往，受到牵连，出贬为朱鸢县主簿。事母至孝，因岭南地区瘴疠严重，不能带母亲同行，便将妻子鲜于氏留下，代自己奉养母亲。他又想到妹妹没有着落，就卖掉大住宅，买了小住宅安顿妹妹，并把剩下的钱分给母亲和妹妹，自己轻装上路。
当时，天下大乱，朝廷诏令难以到达岭南，交趾太守丘和便委任高士廉为司法书佐。武德元年（618年），钦州俚帅宁长真率军进攻交趾。丘和打算开城投降，高士廉劝道：“宁长真兵马虽多，但孤军深入，肯定坚持不了多久。再说城中兵力足以抵御敌军，为什么要投降他呢？”丘和于是任命他为行军司马，让他迎击宁长真。宁长真大败，只身逃脱，军队全部投降。
后来，高士廉随丘和依附萧铣。武德四年（621年），丘和、高士廉前往江陵（今湖北荆州）朝见萧铣，途中听闻萧铣被唐军主帅李孝恭击败，便转而投降李孝恭。武德五年（622年），高士廉与丘和奉表归唐，被任命为雍州治中。当时，李世民正担任雍州牧，因高士廉是自己妻子的舅舅，而且素有声望，对他非常器重。
武德九年（626年），李世民与隐太子李建成矛盾加剧，高士廉与长孙无忌、侯君集等人日夜劝谏李世民，欲诛杀李建成与齐王李元吉。后来，高士廉释放在押囚犯，发给他们武器，并与他们赶到芳林门，配合李世民发动玄武门之变。李世民被立为太子后，任命高士廉为太子右庶子。
贞观元年（627年），高士廉升任门下省侍中，封义兴郡公。后来，黄门侍郎王珪将密奏托付给高士廉，让他呈递给唐太宗。高士廉却将密奏扣下，因此获罪，被贬为安州都督，后调任益州大都督府长史。
当时，蜀地民俗轻薄，百姓都害怕鬼怪而厌恶病人，对病情危重的父母，大多不亲自伺候，用棍棒挑着食物，远远地递给他吃。高士廉到任后，因势诱导，使风俗得以改观。
高士廉还在秦时李冰疏浚的汶江之外，又挖掘一条新渠，让蜀地百姓大获其利。此外，他又用空闲时间组织诗文辞赋之会，还让儒生研讨儒家经典，勉励青年学生，以致蜀中学风渐浓。
631年（贞观五年），高士廉入朝，任吏部尚书，进封许国公。高士廉善于鉴别人才，又熟悉门阀之事，凡是他任用的官员，无不称职。贞观九年（635年），唐高祖驾崩。高士廉以代司空之职，负责皇陵事宜，不久加封特进、上柱国。
当时，山东士族性好矜夸，虽已没落，仍依仗祖辈地位，嫁女之时多要聘礼。唐太宗认为此事有伤教化，遂命高士廉与御史大夫韦挺、中书侍郎岑文本、礼部侍郎令狐德棻等人刊正姓氏，编撰《氏族志》一百卷。《氏族志》编修完成后，高士廉被加封为同中书门下三品。
贞观十二年（638年），以佐命之功，封申国公，世袭申州刺史。不久，升任尚书右仆射，署理太子少师，主管选用官吏之事。贞观十六年（642年），加授开府仪同三司。
643年（贞观十七年），唐太宗将高士廉的画像挂在凌烟阁上。不久，高士廉上表请求致仕。唐太宗免去高士廉尚书右仆射之职，让他以开府仪同三司的身份代行中书门下职务。645年（贞观十九年），唐太宗东征高句丽，让皇太子李治监国，留守定州。高士廉被任命为太子太傅，主持朝政。
646年（贞观二十年），高士廉患病，在唐太宗登门探望时，谈起自己的一生经历，哭着与太宗诀别。
647年（贞观二十一年）正月，高士廉病逝，终年七十二岁。追赠司徒、并州都督，谥号文献，陪葬昭陵。
649年（贞观二十三年），唐高宗继位，追赠高士廉为太尉，并将他的灵位放在唐太宗的宗庙中。
高士廉曾主持编撰《氏族志》、《文思博要》。
《全唐诗补编》收录有其诗一首：《五言春日侍宴次望海应诏》
《全唐文》收录有其文二篇：《请诛元昌奏》、《文思博要序》
李世民：高士廉涉猎古今，心术明达，临难不改节，当官无朋党；所乏者骨鲠规谏耳。德范宏深，风猷远著，道高廊庙，望重勋贤。职在铨衡，穆九流而驰誉；位居端右，总百揆而腾芳。班职台仪，具瞻允集，忠谋令范，遇物必彰。造膝危词，类多宏益，瞻风力以齐轨，轶伊吕而长骛。
刘昫：高士廉才望素高，操秉无玷，保君臣终始之义，为子孙袭继之谋。社稷之臣，功亦隆矣；奖遇之恩，赏亦厚矣。
