朱胜非出生于小生意人家，幼有志气，机敏多谋。
北宋崇宁二年（1103年）中进士，靖康元年（1126年）任东道副总管，权知应天府。
建炎元年（1127年），高宗赵构在南京即位，朱胜非任中书舍人兼代理直学士。当时正值草创之际，朱胜非上疏曰：“仁义者天下之大柄，中国持之，则外夷服而诸夏尊；苟失其柄，则不免四夷交侵之患……陛下即位宜壹明正始之道，思其合于仁义者之行，不合者置之，则可以攘却四夷绍复大业矣?”《宋史·朱胜非传》深得皇上称赞。总制使钱益升职，朱胜非认为钱任陕西制置使时弃师误国，应封还升迁书，免其职。谏官卫肤敏因指责元祐太后兄弟的儿子被改职，朱胜非认为因外戚故逐谏臣，不足以示天下正道，要求复其职。
建炎二年（1128年），高宗任朱胜非为尚书右丞。当时宰相子弟荫恩太滥，谏官上疏道：“还在玩竹马游戏时，已经都位在大臣之列，现不可以不戒。”胜非赞同并对皇上说：“旧制宰执大臣的子弟一律不当堂授现职，只参加铨注，宰执罢政后不治罪，然后推恩。”皇上采纳了他的意见。
建炎三年（1129年）正月，金军先后攻下徐州、淮阳、泗州，并派遣拔离迷部攻陷天长军。皇上惊慌失措，带领御营都统制王渊和亲信宦官康履匆忙逃跑。渡江到达镇江后，百官方陆续赶到。金军入扬州，大肆掳掠后焚城而去。高宗逃往杭州，留下朱胜非经营镇江。不久，又任他为控扼使，又授宣奉大夫，后又授江西安抚使兼知江州。
绍兴元年（1131年），江州沦陷，侍御史沈万求指责九江失守是由胜非赴任太慢所致，贬其为中大夫。
绍兴二年（1132年），吕颐浩推荐胜非兼任侍读，又督江、淮、荆、浙诸州军事。旋升尚书右仆射、同中书平章事。因母丧去职，重启后为右仆射兼知枢密院事，二次为相，进献《吏部七司赦令格式》180卷。
绍兴三年（1133年）11月，岳飞建议出兵收复襄阳等六郡，恢复中原。收复建康后高宗召见岳飞，特赐“精忠岳飞”的军旗。岳飞连续上疏建议乘胜北伐进取襄樊，宰相朱胜非和参知政事赵鼎全力支持。高宗迫于形势派岳飞北伐，但规定：只准“收复襄阳府、唐、邓、隋、郢州、信阳六郡”，敌军“若逃遁出界，不须远追，”“亦不得张皇事势，夸大过当，或称‘提兵北伐’”，或言“‘收复汴京’之类，却致引惹”。规定事毕，大军复回江上屯驻。后遇长期大雨，灾难沉重，胜非多次上书求免职，并自责11罪状，皇上才准其奏。
绍兴五年（1135年），胜非应诏上书言战守四事，被起用为知湖州。靖康之耻，张邦昌僭位，胜非虽为其友婿（连襟），但照囚张邦昌使者。
后因反对秦桧的作为，胜非称病归家，闲居八年，著哲论《闲居录》传世。
绍兴十四年（1144年）十一月二十八日（12月24日），朱胜非卒于故里，年六十三，谥号忠靖。
朱胜非尝辑百家小说、传记，编著为《绀珠集》十三卷（《郡斋读书志》卷13，后人考订为伪托），今存明天顺刊本、《四库全书》本。又著有《秀水闲居录》三卷（《直斋书录解题》卷11），今本为一卷，记所见闻南宋初政事，有《说郛》本。《全宋诗》卷1537录其诗七首。《全宋文》卷363收有其文。
朱胜非《杜门帖》，纸本，行楷书，纵28.7厘米，横28.6厘米。北京故宫博物院藏。朱氏在绍兴五年（1135）“引疾归”，《宋史》称他“废居八年，卒”，故此帖或作于1135至1144年间，是其晚年作品。书法略仿苏轼，稍欠工稳。
罗诱：而赵氏自播迁之后，钜公硕德随已灭，而所与谋事者，不过六七辈。……朱胜非虽老臣，然守法具位，忮於图大事。……是数子辈，皆阘茸之士，非宰相才也。
朱熹：朱丞相秀水闲居录自夸其功太过，以复辟之事皆由他做，不公道。
岳珂：士孰不排难，贵乎安以徐。士孰不立节，贵乎平以舒。既家国之兼全，亦身名之裕如。是与夫激切奋跲，缨冠曼胡者，盖已同功而殊涂。我思其人，犹及屋乌，而况乎遗书。
脱脱：朱胜非、吕颐浩处苗、刘之变，或巽用其智，或震奋其威，其于复辟讨贼之功，固有可言矣。然李纲、赵鼎当世之所谓贤者，而胜非、颐浩视之若冰炭然，其中之所存，果何如哉。
张燧：胜非此举，其调奸护驾，良有足多者，故能使张、韩诸将竭力倡义，以收勤王之绩也。纷纷局外之议，何足凭！
王夫之：若夫朱胜非者，尤不足齿于士类者也。苗、刘，二健卒耳。权藉不重，党类不滋，逆谋不夙，所欲逞志者，王渊、康履而止。浸淫及上，遂敢废人主而幽之萧寺。胜非躬秉大政，系百僚之望，使有不可夺之节，正色立朝，夫二贼者，讵敢尔哉？乃内禅之举，胜非且尸陪列之长，为下改元之诏。德不重，才不赡，志不固，贼之藐之也久，故其胁之也轻，而胜非之从也易。乃使其祸不惩，则宋之危也亦亟矣。...藉令三方之义师不星驰而至，贼势已成，虏兵且进，胜非其能事从中起，枭贼首以复辟乎？如其能之，则他日之自辩曰：“偷生至此，欲图今日之事。”固可解也。而悲愤始于张浚，成谋定于吕颐浩，奋勇决于韩世忠，胜非何与焉？其志欲图者，果何图也？察所怀来，一冯道、范质之心而已。胜非之生，无豪毛之益也。如其死也，则以明夫苗、刘之为贼，而激忠义之人心以起，诚重于泰山矣。无靖康之祸，有所奉之君，名义自己而立衡，存亡即于己而取决。事易于邦昌挟女直之势，而抑无好问通闲道之书。事定之余，优游以去，而贬窜不加焉，宋安得复有王章哉？
王曾瑜：朱胜非和吕颐浩均曾在南宋最艰难的建炎、绍兴年间两度为相，主持政务，使南宋政权度过了困境。朱胜非和吕颐浩主张抗金，以吕颐浩的态度更为鲜明。虽然二人为相期间都有凭私人感情好坏而进退官员的倾向，且都排斥抗战派李纲等令人指摘之处，但他们仍不失为宋人所承认的较好的宰相。
