刘牢之曾祖父刘羲，以善射著称，曾任北地、雁门太守。父亲刘建，有武将才干，官至征虏将军，以勇猛雄壮著称。刘牢之面色紫赤，胡须与双目生得奇异，让看到的人感到惊奇，而且性格深沉刚毅，为人足智多谋。
太元二年（377年），谢玄镇守广陵，当时前秦苻坚力量强大，谢玄招募勇壮威猛之士，刘牢之与何谦、诸葛侃、高衡、刘轨、田洛及孙无终等响应招募，因勇猛被选中。谢玄任命刘牢之为参军，率精锐部队作前锋，百战百胜，号称“北府兵”，使敌人望而生畏。
太元三年（378年），苻坚部将句难率兵南侵，谢玄率何谦等迎战。刘牢之则在盱眙一带夺取句难的辎重及运输船只，战后以功升任鹰扬将军、广陵相。
太元八年（383年），车骑将军桓冲率军十万攻襄阳，宣城内史胡彬率部进军寿阳，以策应桓冲。刘牢之则率两千士兵，作为胡彬的后续部队。
太元八年（383年）八月，淝水之战爆发，苻坚派其弟苻融及猛将张蚝攻陷寿阳，谢玄派胡彬与刘牢之阻击苻融、张蚝。胡彬军驻扎在硖石，不敢贸然前进。苻坚部将梁成又率二万兵马进驻洛涧，谢玄派刘牢之率五千精兵抗拒梁成。刘牢之与敌军相距十里，梁成沿涧列阵，以为险阻。刘牢之带领参军刘袭、诸葛求等率部径直渡过涧水，临阵斩杀梁成及其弟梁云等，又派兵截断敌军回撤的渡口，敌军步兵骑兵全线崩溃，争渡淮水，被刘牢之斩杀俘获万余人，缴获全部器械。苻坚不久后也在淝水遭到惨败，逃回长安，余部纷纷集结退守城池。
太元九年（384年），刘牢之率北府兵北伐，攻占谯郡，派安丰太守戴宝率兵镇守。刘牢之被晋升为龙骧将军、彭城内史，因战功卓著被赐封武冈县男，食邑五百户。刘牢之又进驻鄄城，征讨那些还未降服的敌寇，黄河以南的许多堡垒武装望风归顺。
当时苻坚之子苻丕据守邺城，为后燕慕容垂所围困，于是请求归降东晋，刘牢之领兵接应苻丕。慕容垂听说晋军来救苻丕，便从新城往北撤离。刘牢之与沛郡太守田次之率部追赶，行军两百里，到了五桥泽（今河北临漳北），士卒争抢辎重，阵容逐渐混乱，慕容垂乘势攻击，晋军大败，几乎全军覆没。刘牢之跃马跳过五丈涧，得以脱险。遇上苻丕的救兵，一起进入临漳，召集战败失散的士卒，士气稍有振作，因战败被召回。
不久，刘牢之又被任命为龙骧将军，镇守淮阴城。后戍守彭城，兼任彭城太守。刘黎在皇丘称帝，刘牢之率兵将其消灭。苻坚部将张遇派兵攻克金乡，围困太山太守羊迈，刘牢之派参军向钦之击退张遇，慕容垂叛将翟钊接应张遇，刘牢之引兵返回。翟钊退兵，刘牢之乘机占领太山，追击翟钊至鄄城，翟钊兵败逃往河北，刘牢之于是俘虏张遇回到彭城。司马徽在马头山聚众反抗朝廷，刘牢之派参军竺朗之将其消灭。后燕慕容氏攻打廪丘，高平太守徐含远频频告急，刘牢之无力救援，以怯弱畏敌罪名被罢官。
隆安元年（397年），王恭起兵讨伐王国宝时，起用刘牢之为司马，兼任南彭城内史，加拜辅国将军。王恭派刘牢之击败王廞，让刘牢之兼任晋陵太守。王恭自负门第高贵，才能超拔，因而傲物凌人。当讨伐王国宝的檄文传至京都，朝廷诛杀王国宝、王绪后，王恭自以为功德威望大显天下，虽然依仗刘牢之的力量打败了王国宝，但不过只把他当作一个行阵打仗的武夫而已，很轻待刘牢之。而刘牢之自负有才，心中怨恨。
隆安二年（398年），王恭第二次起兵时，刘牢之进谏道：“将军今天的举动是承载着伯舅的重任，秉持着忠贞的节操，相王司马道子凭借周公旦的尊贵地位，在时下享有很高的声望，去年他已经杀了王国宝、王绪，又送来了王廞的书信，这是已经深深屈服于将军的表现啊。近来他所任用的，虽然不都妥当，但也没什么大错。割出庾楷辖下的四郡来配给王愉，对将军您来说有什么损失呢？难道还能再搞一次清君侧吗！”王恭虽然不听，但也对刘牢之许诺：“事情成功了，就把北府交给你。”于是派刘牢之率帐下督颜延先去占据竹里。这时，司马元显派庐江太守高素游说刘牢之倒戈，答应事成后，许他代替王恭的官职封号，刘牢之答应了。王恭的参军何澹之将这一密谋告诉了王恭。但王恭因为刘牢之与何澹之有矛盾，所以怀疑何澹之所言的真实性而不予采纳。王恭又置办酒席，盛情款待刘牢之，拜刘牢之为兄长，将精兵利器都配给他，让他做前锋。行军至竹里，刘牢之便杀了颜延，背叛王恭，归顺朝廷。
同年，王恭兵败被斩，刘牢之代替王恭接管兖、青、冀、幽、并、徐、扬七州及晋陵的军务。刘牢之本是低级将领，一下子占据了王恭的显赫职位，众人都无法心悦诚服，刘牢之便重用心腹徐谦之等人以加强自己的势力。当时，杨佺期、桓玄率部威逼京师，上表为王恭申辩，请求朝廷诛杀刘牢之。刘牢之率北府兵急速行军奔赴京师，驻扎在新亭一带。桓玄等人接受诏令从京师退兵，而刘牢之则回兵镇守京口。
隆安三年（399年），孙恩起义军攻陷会稽城，刘牢之派部将桓宝率兵援救三吴地区，又派儿子刘敬宣率军为桓宝的后续。救兵到曲阿，吴郡内史桓谦已弃城逃走，刘牢之便统率大军东征，上奏朝廷，即刻进军，到吴地，与卫将军谢琰联合进击孙恩，屡战屡胜，斩杀其许多军士，一直打到了浙江。刘牢之因功被拜为前将军、都督吴郡诸军事。当时谢琰驻扎乌程，派司马高素配合刘牢之作战。刘牢之率大军渡浙江，孙恩畏惧，率部逃到海上，刘牢之回师镇守京口。
隆安四年（400年），孙恩又乘机攻占会稽，杀害卫将军谢琰。刘牢之晋拜镇北将军、都督会稽五郡，再次率部东征，进驻上虞，派兵戍守诸县城池。孙恩攻克吴国，杀害吴国内史袁山松。刘牢之派参军刘裕讨伐孙恩，孙恩率部退回海上。不久，孙恩浮海突然到京口，战士十余万，楼船千余艘，军容强盛。刘牢之在山阴，派刘裕领兵从海盐堵截孙恩，刘牢之自率大军援救京口。刘裕所部兵力不足千人，与孙恩交战，击溃孙恩。孙恩听说刘牢之已回京口，便率部逃向郁洲，又被刘敬宣、刘裕等人打败。自孙恩战败自杀后，刘牢之声威大震。
元兴元年（402年），朝廷打算讨伐拥兵叛乱的桓玄，任命刘牢之为前锋都督、征西将军，兼任江州刺史。司马元显派遣使者同刘牢之商议讨伐桓玄的有关事宜。刘牢之因为桓玄从小享有英名，如今又凭仗江南之众，担心无法制伏他，又考虑到消灭桓玄之后功盖天下，司马元显一定不会容忍自己，于是犹豫不决，不得已才率北府文武将士进驻洌洲。
桓玄派刘牢之的族舅何穆劝阻刘牢之说：“从古至今，战乱时代，君臣之间彼此相互信任的只有燕昭王与乐毅、刘玄德（刘备）与诸葛亮（孔明），但都是功业未成而明君早逝，假如功成名就，恐怕难保大祸不临头。常言道：‘高鸟尽，良弓藏；狡兔死，猎狗烹；敌国破，谋臣亡。’所以勾践杀文种，嬴则除白起，汉高祖斩韩信。他们都是英雄霸王之主，尚且不相信手下的功臣大将，更何况那些凶残愚昧、平庸无能之辈呢！自盘古开天地以来，拥有足以使君主震动的声威，建立无法封赏的大功，而能被昏暴君王所宽容的又有谁呢？相反，管仲箭射齐桓公衣钩反被他重用，雍齿多次威逼汉高祖反而受到汉高祖的厚封，这一类事是常有的，何况足下与桓公之间无射钩屡逼之仇呢？如今足下与桓公为敌，战败了将会遭到灭族之灾，战胜了同样会遭到灭族之灾，出路在哪里呢？与其头足异地，身败名裂，为天下俗人所耻笑，不如调转戈矛，保住自己的富贵，这样就可以使自身高位固若金石，英雄美名如天长地久。何去何从，请足下三思。”刘牢之自以为手握重兵，才能智谋足以统辖江南大地。当时谯王司马尚之已被桓玄打败，使得士气低落，军心沮丧，于是刘牢之接受何穆的劝说，派遣使者与桓玄联络。刘牢之的外甥何无忌与部将刘裕极力劝阻刘牢之，刘牢之一概不听。不久，刘牢之令儿子刘敬宣投降桓玄。桓玄大喜，设筵宴款待刘敬宣，而暗中设计杀害他，桓玄陈列大批名人大家的书画，与刘敬宣一同观赏。刘敬宣丝毫没有察觉到桓玄的阴谋用心，桓玄手下的将佐官吏无不相视而笑。
司马元显被捕后，桓玄任命刘牢之为征东将军、会稽太守，将其调离京口。刘牢之长叹道：“才刚刚开始而已，便削夺我的兵权，不久以后，大祸将会降临了！”当时，桓玄住在丞相府，刘敬宣劝刘牢之袭击桓玄，刘牢之犹豫不决，移兵驻扎班渎，打算向北投靠他的女婿广陵相高雅之，占据长江以北广大地区来对抗桓玄，召集众将领商议决策。参军刘袭说：“不能做的事没有过于反叛，而将军早年反王恭，不久以前反司马元显，如今又打算反桓玄。一个人一生当中三次反叛，怎能够立足于天地之间呢！”说罢，起身扬长而去。刘牢之手下将佐纷纷离开刘牢之，而刘敬宣在此之前返回京口转移家室，逾期未还。刘牢之以为他被刘袭杀害，便心灰意冷，上吊而死。
不久，刘敬宣返回，来不及吊哭安葬刘牢之，便急忙投奔高雅之。刘牢之手下的将佐官吏代为操办丧事，并将刘牢之归葬丹徒。后来桓玄下令开棺斩首，将刘牢之的尸体暴露在街市上示众。
义熙元年（405年），刘裕击败称帝的桓玄，恢复东晋王朝，替刘牢之申辩，朝廷恢复了刘牢之的职位和封爵。
刘牢之初为北府谢玄部将，在君川之战中参与破前秦军有功。淝水之战时，于洛涧以少胜多，歼灭前秦将领梁成部精兵二万人。淝水战后，刘牢之作为谢玄北伐的先锋，推进至黄河以北，一度击败后燕慕容垂。戍守彭城期间，刘牢之剿灭了在皇丘称帝的刘黎，生擒苻坚部将张遇。
孙恩之乱期间，刘牢之率北府兵屡次击败孙恩，逼迫其狼狈撤退，最终投水自杀。
刘袭：事不可者莫大于反，而将军往年反王兖州，近日反司马郎君，今复欲反桓公。一人而三反，岂得立也。
高进之：刘公猜而不忍，怨而好叛。
萧介：凶人之性不移，天下之恶一也。昔吕布杀丁原以事董卓，终诛卓而为贼：刘牢之反王恭以归晋，还背晋以构妖。
房玄龄：①生灵道断，忠贞路绝，弃彼弊冠，崇兹新履。牢之事非其主，抑亦不臣，功多见疑，势陵难信，而投兵散地，二三之甚。若夫司牧居愆，方隅作戾，口顺勤王，心乖抗节。②孝伯怀功，牢之总戎。王因起衅，刘亦惭忠。殷杨乃武，抽旆争雄。庾君含怨，交斗其中。猗欤群采，道睽心异。是曰乱阶，非关臣事。
杜牧：在汉伯通，在晋牢之，二人功力不寡，一旦诛死，人岂冤之？
苏辙：背逆人理，世所共疑。故吕布见诛于曹公，牢之见杀于桓氏，皆以其平生反覆，势不可存。
张预：设若奋寡以击众，驱弱以敌强，又不选骁勇之士使为先锋，兵必败北也。凡战，必用精锐为前锋者，一则壮吾志，一则挫敌威也。故《尉缭子》曰：‘武士不选，则众不强。’曹公以张辽为先锋而败鲜卑，谢玄以刘牢之领精锐而拒苻坚，是也。
王夫之：其反覆变诈之不雠，以祸于国、凶于家、戮及其身，则讳之而不言。故温峤之阳亲王敦而阴背之，非无功于晋矣，然非其早卒，君子不能保其终为晋社稷之臣也，何也？响背无恒，而忠孝必薄也。前有吕布，后有刘牢之，勇足以戡乱，而还为乱人。呜呼！岂有数月之闲，俄而为元显用，而即叛元显，俄而为桓玄用，而即图桓玄，能不祸于国、凶于家、戮及其身也乎？刘袭曰：‘一人三反，何以自立。’使牢之幸雠其诈，而桓玄受戮，论者将许之以能权；乃牢之杀元，而牢之之祸晋益深，君子岂受其欺哉？...秉信非以全身，而身或以保；非以图功，而功或以成。托身失所，而为郗超；欲自免焉，则为温峤；加之以反覆之无恒，则为牢之。峤成而牢之败，牢之死而超生。
赵翼：其他立功立事，为国宣力者，亦皆出于寒人。如顾荣、卞壸、毛宝、朱伺、朱序、刘牢之、刘毅等之于晋……皆御武戡乱，为国家所倚赖。
包世臣：司马氏无功于当涂，无德于黔首，而一时藉曹氏之宠，以享丰厚者，竞与输心佐命，真豺虎所不食，有北所不受。顾以若而人开鸿基，创永制，贻谋有不舛乎。无怪枣嵩、朱硕之于王浚，沈充、钱凤之于王敦，匡术、路永之于苏峻，郗超、刘牢之之于二桓，刘穆之之于宋武，接踵而起也。
郑观应：古之所谓将才者，曰儒将、曰大将、曰才将、曰战将。英布、王霸、张辽、刘牢之、曹景宗、高敖曹、周德威、扩廓贴木儿等，战将也。
田余庆：①处在历史演变关头的刘牢之，并不理解历史将向何处发展。刘牢之一生戎马，为当权者驱驰，目光是非常短浅的。他既不能综观时局，也就无法自如地运用手中有可能决定时局的北府兵。……刘牢之先后屈服于司马氏皇权的名分和士族桓玄的社会影响，惶惶然不知所措。……历史的演变总是迂回曲折的，人们处在历史转折的关头，不免带有不同程度的盲目性，古人更是如此。刘牢之彻底失败了，他不是败于军事，而是败于思想理念，败于政治。……从刘裕的成功逆而观之，刘牢之的活动作为负面经验，在历史上并不是没有价值②刘牢之的行动并不只是个人晕头转向、进退失宜问题，而是反映了本来是门阀士族的工具的伦荒武将转化为社会统治力量时必然出现的曲折。
