卫玠五岁时神态异于常人，他的祖父卫瓘说卫玠与众不同，只是自己年纪大了，看不到他长大成人的那一天。卫玠年少时乘坐羊车到街市去，看到他的人都以为是玉人，人们都去观看他。骠骑将军王济是卫玠的舅舅，英俊豪爽有风度姿容，每次见到卫玠，就叹息说珠玉在身旁，就觉得自己形貌丑陋。又曾对别人说，与卫玠一同出游，就像有光亮的珠子在旁边，光彩照人。
卫玠长大后，好谈玄理。其后多病体弱，他的母亲王氏常不让他多说话。遇到有好日子，亲友有时请他说几句，没有不赞叹的，认为他说到了精微之处。琅邪人王澄有名望，很少推崇别人，每当听到卫玠的言论，就叹息倾倒。为此当时的人说：“卫玠谈道，王澄倾倒。”王澄与王玄、王济都有盛名，都在卫玠之下，世人说：“王家三子，不如卫家一儿”。卫玠的岳父乐广全国闻名，评论的人认为“岳父像冰一般清明，女婿像玉一样光润”。
后来，朝廷多次征召卫玠入朝为官，征召的命令到来，卫玠都不赴任。很久以后，担任太傅西阁祭酒、太子洗马。卫玠的兄长卫璪担任散骑侍郎，在宫内侍奉晋怀帝司马炽。
永嘉四年（310年），当时中原战乱渐起，卫玠因天下大乱，打算搬家到南方，他母亲王氏说："我不能舍下仲宝（卫璪字）离开！“卫玠把道理讲得深透，为了门户大计，王氏流着泪答应了他。卫玠临别前，对兄长卫璪说：“恭敬父、师、君的道义，是人们所看重的。如今可以说是献身事君，兄长自勉。”于是护送母亲搬到江夏（今湖北武汉）居住。
卫玠的妻子乐氏很早去世，征南将军山简见到卫玠，很是器重钦佩他。山简说：“过去戴叔鸾嫁女，只嫁给贤人，不问地位贵贱，何况卫氏是权贵门户有名的人呢！”于是把女儿嫁给卫玠。接着卫玠进入豫章（今江西南昌）。当时大将军王敦镇守豫章，长史谢鲲先前就一直尊重卫玠，相见后很高兴，交谈了一整天。王敦对谢鲲说：“过去王弼在朝中的谈吐像金声，此人在江表的言论如玉振，精微言论，断绝了又续接。没想到永嘉末年，又听到正始年间的声音，何晏如果还在，一定倾倒。”卫玠经常认为人无完人，可以宽恕；不是故意冒犯，可以按情理处理，因而终身看不到他喜怒的容颜。
卫玠因王敦豪爽不合群，好居人上，恐怕不是国家的忠臣，于是谋求到建邺（今江苏南京）。京师的人听说其姿容，看他的人挤成人墙。卫玠因劳累成疾而加重病情，于永嘉六年（312年）去世，时年二十七岁，当时的人都说卫玠是被看死的。卫玠死后葬在南昌。卫玠死时谢鲲哭他很悲痛，有人问他为何如此悲伤，谢鲲回答说栋梁断了，因而悲哀。咸和年间（326年―334年），卫玠改葬于江宁（今南京）。丞相王导告论说：“卫洗马确实该改葬。此人是风流名士，海内仰望，可以准备薄祭，来勉励旧日好友。”后来刘惔、谢尚共同议论朝中人士，有人问杜乂可以和卫玠相比吗？谢尚说他们二人怎能相比，他们之间的差距容得下几个人。刘恢又说杜乂是貌清，卫玠是神清。卫玠就是这样受到有识之士的器重。当时中兴名士，只有王承和卫玠为当时第一。
