房玄龄出生于官宦之家。曾祖房翼，北魏镇远将军、宋安郡守，袭壮武伯；祖父房熊，释褐州主簿；父亲房彦谦，好学，通涉《五经》，富有辩才，是魏、齐间的山东学者。
房玄龄自幼耳濡目染，颇承其父遗风。自幼聪慧，善诗能文，博览经史，精通儒家经书，又向父亲学得一手好书法，工草隶。十八岁时，齐州举进士，先后授羽骑尉、隰城县尉。
隋朝末年，天下大乱。唐国公晋阳留守李渊率兵入关，房玄龄于渭北投靠李世民，屡从秦王出征，参谋划策，典管书记，任秦王府记室参军。
为报李世民知遇之恩，竭尽心力筹谋军政事务。每攻灭一方割据势力，军中诸人都全力搜求珍宝异物，只有房玄龄首先收拢人才，将富有谋略和骁勇善战的人安置在他的幕府中，私下与他们结为朋友，共同为李世民效力。击破王世充后，认为张亮“倜傥有智谋”，遂推荐给李世民，任秦王府车骑将军，委以心膂”。其他，诸如才思敏捷的薛收，有“王陵、周勃节，可倚大事”的李大亮，“聪明识达，王佐之才”的杜如晦等，都是经房玄龄举荐以后，得到李世民重用的，后都位至卿相。
房玄龄在李世民秦王府中十多年，一直掌管军谋大事，负责管理文牍，每逢军书奏章，停马立成，文字简约，义理丰厚。李渊对房玄龄深加叹赏，对侍臣讲：“这个人深重地了解机宜，足能委以重任。每当替秦王陈说事务，一定能了解人性心理。千里之外，好像对面说话一样。”
后来，隐太子李建成斥逐秦王府官属，房玄龄与杜如晦一并被驱斥于外任。
武德九年（626年），参与玄武门之变的策划，帮助李世民谋得帝王之位，李世民称赞他有“筹谋帷幄，定社稷之功”。李世民论功行赏，以房玄龄、长孙无忌、杜如晦、尉迟敬德、侯君集五人功为一等。房玄龄因功进爵为邢国公。
房玄龄追随李世民平定天下，出入生死，备尝创国立业之艰辛。他时刻不忘创业之难，警钟长鸣，力戒骄奢淫逸，以维持国家的长治久安。
房玄龄重视吏治，认为吏治问题是求治的根本，而官吏的公平正直又是治国之要道。在选举官吏的问题上，李世民主张“量才授职，务省官员”，“现在应当审查官吏，让他们都能够发挥各自的作用，那么国家就可以无为而治了。”房玄龄忠实地贯彻了他这一思想，大力简政，并省官吏，“于是所配置的文武官员总六百四十员”。
房玄龄精减官吏的做法，对经隋末大乱、人口锐减的唐初来说，既裁去冗官滥职，避免十羊九牧，提高朝廷各部门办事效率，同时也节省国家财政开支，减轻人民负担。
房玄龄精通典制政令。贞观初年，时值天下初定，朝章国典还很不完备，他与尚书右仆射杜如晦共掌朝政，亭台楼阁等建筑物的规模以及法令、礼乐、制度以及历代遗留下来的有价值的东西，都是他们二人所制定，在当时获得美誉。
在修定律令方面，房房玄龄秉持“审查并确定法律和命令，将宽厚平和（的风格）做为宗旨”的思想，简化律令，又除去了隋朝的苛酷刑法。自房房玄龄等更定律、令、格、式以后有唐一代都没有发生过多大变动。
贞观三年（629年）二月，房玄龄改封魏国公，为尚书左仆射，监修国史。房玄龄尽心竭诚，早起晚睡。加之他明达吏事，法令宽平，任人惟贤，不分卑贱，人们都称他为良相。
贞观九年（635年），房玄龄护高祖山陵制度，以功加封开府仪同三司。贞观十一年（637年）封梁国公。
贞观十三年（639年），加太子少师。他留守京师。他任宰相十五年，女为韩王妃，儿子房遗爱娶高阳公主，显贵至极，但常常深自卑损，不敢炫人傲物。贞观十八年（644年），李世民亲征辽东高丽，命房玄龄留守京城。
贞观二十二年（648年），房玄龄病重，李世民派名医为其医治，每日供给御膳，并亲临探望。临终之时，房玄龄对诸子说：“当今天下清平，只是陛下东讨高丽不止，正为国患。主上含怒意决，臣下莫敢犯颜。我知而不言，就会含恨而死啊。”于是抗表进谏，请求李世民以天下苍生为重，停止征讨高丽。李世民看见奏表，感动地对房玄龄儿媳高阳公主说：“此人病危将死，还能忧我国家，真是太难得了。”临终之际，李世民亲至其病床前握手诀别，立授其子房遗爱为右卫中郎将，房遗则为中散大夫，使其在生时能看见二子显贵。
七月二十四日，房玄龄与世长辞，终年七十岁。李世民为之废朝三日，追赠太尉，谥号“文昭”，陪葬昭陵。与初唐其他二十三位开国功臣一起画像并供奉于“凌烟阁”。后配享太宗庙廷。
永徽三年（652年），房玄龄次子房遗爱与其妻高阳公主被指谋反。房遗爱被处死，公主赐自尽，诸子被发配流放到岭表。房玄龄嗣子房遗直也被连累，被贬为铜陵尉。房玄龄配享太庙的待遇也因而被停止。
房玄龄在随秦王李世民（唐太宗）征战时，凡王府书檄，驻马即成，言简意尽，不需起草。曾被招为“十八学士”之一。李世民即位，封为梁国公，官任中书令、尚书左仆射、司空等职，总领百司，执掌政务达二十年。参与制定典章制度，主持律令、格敕的修订，监修国史，又曾与魏徵同修唐礼；调整政府机构，省并中央官员；善于用人，不求备取人，也不问贵贱，随材授任；恪守职责，不自居功。同时负责国史馆，先后监修成《高祖实录》、《太宗实录》、《晋书》。后世以他和杜如晦为良相的典范，合称“房、杜”。
后世史学家在评论唐代宰相时，无不首推房玄龄，总是说：“唐代贤相，前有房杜，后有姚宋。”
《新唐书》：“房玄龄当国，夙夜勤强。任公竭节，不欲一物失所。无媢忌，闻人善，若己有之。明达吏治，而缘饰以文雅，议法处令，务为宽平。不以己长望人，取人不求备，虽卑贱皆得尽所能。或以事被让，必稽颡请罪畏惕，视若无所容”。
唐太宗李世民：“筹谋帷幄，定社稷之功。”“器宇沈邃，风度宏远，誉彰遐迩，道冠簪缨。”“器范忠肃，识具明允，才称王佐，望乃时英。霸国爰始，预经纶之业；鼎命维新，赞隆平之化。诚固金石，勋勒钟鼎。自任总庶尹，职重朝端，心力尽於翼亮，劬劳积於岁序，而志在冲退，有怀止足。固陈衰疴，屡上表疏。然则燮揆礼阁，职务实繁；论道槐廷，望实攸属。”
王珪：“孜孜奉国，知无不为，臣不如玄龄。”
常衮：“武德、贞观之间，有若魏徵、王珪、李靖、李勣、房玄龄、杜如晦等，扶翼大运，勤劳王家，尊主庇人，匪躬致命，咸有一德，格於皇天，缅然长怀，风烈犹在。”
李绛：“昔太宗之理天下也，房玄龄、杜如晦辅相圣德，魏徵、王珪规谏阙失，有温彦博、戴胄以弥缝政事，有李靖、李勣训整戎旅，故夷狄畏服，寰宇大安。”
柳芳：“房玄龄佐太宗定天下，及终相位，凡三十二年，天下号为贤相。然无迹可寻，德亦至矣。故太宗定祸乱而房玄龄不言己功；王珪、魏徵善谏，房玄龄赞其贤；李勣、李靖善将兵，房玄龄行其道；使天下能者共辅太宗，理致太平，善归人主，真贤相也！房玄龄身处要职，然不跋扈，善始善终，此所以有贤相之令名也！”
皮日休：吾爱房与杜，贫贱共联步。脱身抛乱世，策杖归真主。纵横握中算，左右天下务。肮脏无敌才，磊落不世遇。美矣名公卿，魁然真宰辅。黄阁三十年，清风一万古。巨业照国史，大勋镇王府。遂使后世民，至今受陶铸。粤吾少有志，敢蹑前贤路。苟得同其时，愿为执鞭竖。
杜牧：苻秦相猛，将终戒视后祸，大唐太尉房公，忍死表止伐辽。此二贤当时德业不左诸人，尚死而不已，盖以辅君活人为事，非在矜伐邀引为心也。
刘昫：①以房、魏之智，不逾于丘、轲，遂能尊主庇民者，遭时也。②房、杜二公，皆以命世之才，遭逢明主，谋猷允协，以致升平。议者以比汉之萧、曹，信矣！然莱成之见用，文昭之所举也。世传太宗尝与文昭图事，则曰“非如晦莫能筹之”。及如晦至焉，竟从玄龄之策也。盖房知杜之能断大事，杜知房之善建嘉谋，裨谌草创，东里润色，相须而成，俾无悔事，贤达用心，良有以也。若以往哲方之，房则管仲、子产，杜则鲍叔、罕虎矣。③肇启圣君，必生贤辅。猗欤二公，实开运祚。文含经纬，谋深夹辅。笙磬同音，唯房与杜。
宋祁：太宗以上圣之才，取孤隋，攘群盗，天下已平，用玄龄、如晦辅政。兴大乱之余，纪纲雕弛，而能兴仆植僵，使号令典刑粲然罔不完，虽数百年犹蒙其功，可谓名宰相。然求所以致之之迹，逮不可见，何哉？……如晦虽任事日浅，观玄龄许与及帝所亲款，则谟谋果有大过人者。方君臣明良，志叶议从，相资以成，固千载之遇，萧、曹之勋，不足进焉。虽然，宰相所以代天者也，辅赞弥缝而藏诸用，使斯人由而不知，非明哲曷臻是哉？彼扬己取名，了然使户晓者，盖房、杜之细邪！
《房玄龄碑》：圣贤同德，君臣协志。穹壤倏平，幽遐必暨。革夷从夏，羁戎口吏。
《历代古人像赞》：辅相文皇功居第一，遗表之谏精忠贯日。
赵元僖：唐太宗有魏玄成、房玄龄、杜如晦，明皇有姚崇、魏知古，皆任以辅弼，委之心膂，财成帝道，康济九区，宗祀延洪，史策昭焕，良由登用得其人也。
曾巩：降而至于唐，唐之相曰房、杜。
欧阳澈：使富国强兵，内无动揺，民安如故，有如大夫种之能；转输供馈，外无劳民扰攘之役，有如范蠡之知；临机果断，折冲千里，有如周瑜之勇；度长虑逺，收功于必成，有如赵充国之守。严细柳之军，有如周亚夫者；奔项羽之营，有如樊哙者；孜孜奉国，知无不为，有如房玄龄者；兼资文武，出将入相，有如李靖者，则虽愚夫愚妇亦知其可以必胜矣。
归有光：唐太宗举兵晋阳，平隋之乱，则有刘弘基、李勣、李靖、房玄龄、杜如晦之流致其勋。
曾国藩：古人称立德、立功、立言为三不朽。立德最难，自周汉以后，罕见德传者。立功如萧、曹、房、杜、郭、李、韩、岳，立言如马、班、韩、欧、李、杜、苏、黄，古今曾有几人？
太宗长孙皇后：玄龄事陛下最久，小心谨慎，奇谋秘计，皆所预闻，竟无一言漏泄，非有大故，愿勿弃之。
