潘岳出身儒学世家。少年时，随父宦游河南、山东、河北，青年时期就读洛阳太学，二十余岁入仕，供职权臣贾充幕府，后历任京官，因作赋颂扬晋武帝躬耕藉田显露才华被当权者左迁河阳县令（今焦作孟州和洛阳吉利区），潘岳负其才而郁郁不得志。
公元296年，潘安回到京城做官，经常参与依附贾谧的文人集团“二十四友”的活动。尚书仆射山涛、领吏部王济、裴楷等受宠，潘岳很憎恨他们，于是在宫殿大门柱子上写下歌谣：“阁道东，有大牛。王济鞅，裴楷鞧，和峤刺促不得休。”又被左迁离洛阳更远的怀县做县令。潘岳做得有声有色、政绩斐然，朝廷提拔他到京城做财政部官员，后来因为犯事被免职，不久被太傅杨骏引入门下做了太傅主簿。
太傅杨骏被害夷三族，潘安作为幕僚也在被诛之列，幸亏当时他公事在外又有当权者、楚王的心腹、他的好友公孙弘替他说话（潘岳曾在他贫困潦倒时帮助过他），他被调往长安做县令，因为母亲生病辞官奉养，在此期间与好友石崇附会贾充外孙贾谧，之后升迁做了黄门侍郎，贾谧开阁延宾，召集天下文士潘安、石崇、陆机、左思、刘琨等二十四人，因文采盖世被称为“二十四友”。贾谧“晋书断限”的功劳是潘安出的主意，潘安的母亲经常劝他不要趋附不已，他虽然口头受教，实际上却愈发不知足，始终改不掉。
八王之乱后，赵王司马伦夺权成功，遂抓捕潘安，并灭了他的三族。一个好端端，文才俱佳的美男子，由于“性轻躁，趋世利”而卷入一场夺权阴谋中；不但自己丢了性命，还连累三族被诛。潘岳的母亲及兄侍御史潘释、弟燕令潘豹、司徒掾潘据、潘诜，兄弟之子，已经出门的闺女，无长幼一时被害，唯潘释的儿子潘伯武逃难得免。而潘豹的闺女与其母相抱号呼不可解，于是被赦免。
潘安主要作品有《悼亡诗》、《秋兴赋》、《闲居赋》、《哀辞》、《沧海赋》、《登虎牢山赋》、《狭室赋》、《怀旧赋》。
潘安作为男性美符号，他所体现的那种唇红齿白的清秀、偏于柔美多愁的文才风流。
《世说新语·容止篇》三十九则中两则描绘潘安的相貌：
《世说新语·容止第十四篇·七则》潘岳妙有姿容，好神情。少时挟弹出洛阳道，妇人遇者，莫不连手共萦之。左太冲绝丑，亦复效岳游遨，于是群妪齐共乱唾之，委顿而返。
《世说新语·容止第十四篇·九则》潘安仁、夏侯湛并有美容，喜同行，时人谓之“连璧”。
虽然说现有的正史并没有详细地去记载潘安的五官长相如何、身高具体几尺，但是他容貌秀丽却是件不可置疑的事情，因为在那个时候他就已经成了焦点人物，“粉丝”众多。“安仁至美，每行，老妪以果掷之满车。“——刘孝标注引的《语林》
潘安的小名为“檀郎”、“檀奴”。因潘安既是美男子，又对结发妻子一往情深，忠贞不渝，即便后来妻子很早就去世了，他也没再娶。是女性心目中完美的情人、夫君形象，“檀郎”、“檀奴”遂成为夫君或心上人、情郎的代名词。这一称谓寄托着女性对情人、夫君用情专一的热切希望。
文学作品中常用“陆才如海，潘才如江”（《滕王阁序》“请洒潘江，各倾陆海云尔”）来形容潘安与陆机，是魏晋第一流的文学家。潘安诗歌名列钟嵘《诗品》上品，潘安亦是西晋著名文学、政治团体“金谷园二十四友”之首，作为西晋文学的代表，他的作品对后世影响很大，特别是《悼亡诗》更成为中国文学史悼亡题材的开先河之作，历代被推为第一，成为中国古代文学史上的名篇。《闲居赋》、《秋兴赋》也很知名在小说中常以“貌若潘安”来形容一个人文采风流并且容貌出众。特指男性。在汉魏晋那个时代，赋写得好是文人较高的成就，潘安的《秋兴赋》、《闲居赋》、《藉田赋》文字优美，富有感情，是那个时代顶峰。潘安、陆机是西晋作品流传下来较多的文学家，可见后世对他们的推崇。潘岳作品的较大特色是情，读者句句能体味到他内心所想，潘岳的感情细腻，多愁善感这也融入到他的作品中，一般男性文学家的作品这样的风格不多。
至情：潘安的《怀旧赋》中这样写道：“余十二而获见于父友东武戴侯杨君。始见知名，遂申之以婚姻。”潘安十二岁与父亲的朋友、大儒、扬州刺史杨肇相见，被杨肇赏识，许以婚姻。后来杨氏早亡，潘安对杨氏感情至深，自此不再娶，并作《悼亡诗》怀念杨氏，开悼亡诗之先河，这之后悼亡诗的范畴仅限于悼亡妻子。《悼亡诗·一》中有一句“如彼游川鱼，比目中路析”，是说夫妻一人先去，像比目鱼的分崩离析。
至孝：北宋之前《二十四孝》里记载有潘岳辞官奉母的故事：“郑州中牟人潘岳，字安仁，晋武帝时任河阳县令。他事亲至孝，当时父亲已去世，就接母亲到任所侍奉。他喜植花木，天长日久，他植的桃李竟成林。每年花开时节，他总是拣风和日丽的好天，亲自搀扶母亲来林中赏花游乐。一年，母亲染病思归故里。潘岳得知母意，随即辞官奉母回乡。上官再三挽留。他说：‘我若是贪恋荣华富贵，不肯听从母意，那算什么儿子呢？’上官被他孝感动，便允他辞官。回到家乡后，他母竟病愈了。家中贫穷，他就耕田种菜卖菜，之后再买回母亲爱吃的食物。他还喂了一群羊，每天挤奶给母亲喝。在他精心护理下，母亲安度晚年。诗曰：弃官从母孝诚虔，归里牧羊兼种田；藉以承欢滋养母，复元欢乐事天年。”《二十四孝》是唐宋在民间流传的文本记录了二十四个远自虞舜近至魏晋的二十四个孝子故事，虽然版本众多但都记录了潘安的弃官奉母，后来宋人郭居敬重新校订《二十四孝》因为潘安在政治上的趋附不已最终导致夷三族，潘安的母亲以七十余岁的高龄也未能幸免被杀，正因为此虽然潘安至孝但已不足以列入，故把他从《二十四孝》中删去。
房玄龄：岳实含章，藻思抑扬。趋权冒势，终亦罹殃。
姚铉：至于魏、晋，文风下衰，宋、齐以降，益以浇薄。然其间皷曹、刘之气焰，耸潘、陆之风格，舒颜、谢之清丽，揭何、刘之婉雅，虽风兴或缺，而篇翰可观。
王夫之：①然其（晋武帝）所用者，贾充、任恺、冯紞、荀勖、何曾、石苞、王恺、石崇、潘岳之流，皆寡廉鲜耻贪冒骄奢之鄙夫。②王衍、陆机、潘岳之死，自贼者也。
钱基博：①两晋文章...其一派奇丽藻逸，撷两汉之葩，潘岳、陆氏机云、左思其尤，以开太康之盛。②太康之中，文彦云会；而三张、二陆、两潘、一左，勃尔复兴，踵武前汉，风流未沬，亦文章之中兴也。...二陆则弟逊于兄，两潘则尼不如岳。而冠冕群英，实推潘陆。史称之曰：“机文喻海，岳藻如江。”一世之雄也。然潘之机利而笔不遒，陆之体重而势不骏。潘岳才思清绮，秀爽有余，承建安之风流。③少以才颖见称，乡邑号为奇童。及长，才藻妍丽，与陆机骈称曰潘陆。岳富于情，机骁于气；而岳特工哀诔之文，巧于序悲，易入新切。
