靳云鹏1877年生于山东省兖州府邹县苗庄村（今邹城市峄山镇苗庄村）的一个普通农家，其父名为靳长生。后迁往济宁。靳家兄弟姐妹7人，靳云鹏在三兄弟中居长。靳父先逝，依靠寡母邱氏卖煎饼、当奶妈为生（靳母作过潘复的乳母）维持生计，靳氏兄弟姐妹也常走街叫卖。靳云鹏8岁时入私塾读书，五、六年后，因家中生活拮据，便到南关柳行街当勤杂工。
1894年（光绪20年）18岁时，因生活所迫与弟弟靳云鹗投奔了袁世凯在天津小站督练的“新建陆军”，隶属于段祺瑞部下。后两度到军校学习。4年后，被选入附设炮队随营武备学堂第1期学习。毕业后留任教习，深得该学堂监督段祺瑞的赏识和器重，与徐树铮、吴光新和傅良佐同列而被称为皖系四大金刚。1902年任北洋军政司（后改北洋督练公所）参谋处提调。改任浙江新军标统。1909年（宣统元年），经段荐举，调任云南清军第19镇总参议。1911年（宣统3年），蔡锷、李根源等在昆明发动新军起义时他在五华山抵抗，战败后化装成轿夫逃至湖北，任清军第1军总参赞官。
1912年，中华民国成立，3月，袁世凯窃取辛亥革命胜利果实，登上临时总统座位。1912年7月经段祺瑞举荐，靳云鹏任第5镇统制，并会办山东军务，同年9月授陆军中将，经段祺瑞向袁世凯保荐，再任北洋军第5师师长，1913年8月暂行代理山东都督，并加陆军上将衔，12月正式任命。两年后，又被袁世凯任命为泰武将军，督理山东军务。随之发迹，除经营济南的鲁丰纱厂等数家企业外，还有2．5万余亩土地。1915年，袁世凯密谋称帝，9月15日，他参与14省将军联名电请袁世凯登基。1915年12月被袁授封一等伯爵。1916年4月，又迫于反袁势态，密电各省，准备联名通电袁取消帝制，因人告密而遭袁忌恨。于5月30日调将军府将军，6月授果威将军。但却因此得“反对帝制”的美名。
袁世凯死后，黎元洪任大总统，段祺瑞以内阁总理控制北洋政府大权，靳效忠段之武力统一全国政策和亲日政策，受重用，被委任为将军府果威将军、参战陆军办公处主任、边防军教练处长等要职。
1917年他借参战之名，编练参战军，扩充皖系势力；11月间，又赴日考察，推行亲日外交。12月任冯国璋总统的侍从武官长。次年3月升任北京政府参战督办事务处参谋处处长。曾代表北洋政府先后与日本签订了《中日陆军共同防敌军事协定》、《中日海军共同防敌军事协定》等3个丧权辱国条约。
段祺瑞下台，徐世昌继任大总统后，他于1919年初入阁，任陆军总长，暗中联络直奉两系，图谋组阁。徐世昌为平衡各派势力，巩固其统治地位，于1919年9月24日，任命他代理刚辞职的龚心湛任国务总理。在直奉两派通电支持和参、众两院通过后，于11月5日，正式受命组织内阁，并兼任陆军总长。他上台后，不堪忍受段祺瑞的非议与责难，力图摆脱其控制，并想促成南北议和，因段从中作梗而作罢。由于军阀互相倾轧，靳因不堪夹在直、皖争端中，遂于1920年5月10日通电，以“待罪枢垣，瞬经八月，才疏任重，无补时艰，近因患疾，迭请辞职，幸蒙批准给假，今日交卸”为由，请求辞去内阁总理职务，同年8月任陆军总长，10月授陆军上将。
在直、皖之争中，奉系军阀张作霖以“调停时局”为名入京，联直排皖，遭到段祺瑞的亲信徐树铮的愤恨，欲将其捕杀，靳云鹏将此密报与张，使其得以幸免。在张作霖把持了军政大权后，于1920年8月力荐他再度组阁兼陆军总长。直皖战争后皖系失去大部分势力，他却成为各方都能接受的红人，他与张作霖、曹锟、徐世昌一起，召开了“四巨头会议”，商定控制北京政权的大计。由于靳是皖系，在奉系、直系权利斗争的旋涡中，如履薄冰，因派系之争，以及与徐世昌在财税及人事等方面的矛盾恶化，张作霖也以为他偏袒直系，迫使他于1921年12月11日再次辞去内阁总理职务。
靳云鹏下台后寄居天津英租界过着寓公生活，并未忘情于政治。1926年12月，张作霖在天津蔡园举行会议，决定以安国军总司令名义任命靳云鹏为内阁总理，但因吴佩孚反对组阁，使靳的再度组阁成为泡影。
1929年靳云鹏以延福堂名义向英工部局购得租界内比道15号（今四川路2号）一地，建成一所庭院式洋楼，过着半隐居生活，并潜心于佛教。他同时也致力于办实业，与日本大仓系财阀合办胶东鲁大矿业公司，代表中方出任理事长兼总经理。还在济宁、济南等地广置房宅和田产，又与人合伙投资在济南开设鲁丰纱厂，还在济宁等地开办电灯公司、济宁面粉公司等企业。据不完全统计，从1908年到1926年的18年中，他独家投资或合伙经营企业有20多家，拥有资产6500万元之多。
“七七事变”以后，日本侵略军曾请在天津做寓公的靳云鹏出山组织华北伪政权，维持华北局面，他与徐世昌密议“议和方案”，以承认“满洲国”为条件，换取日军撤出华北，恢复“七·七事变”前的局面，后日方认为他下台较早，手中无实力，因而作罢。
1951年1月3日，在天津逝世。享年75岁。
靳云鹏是民国乱世之中较有影响的军政人物之一。在北洋军阀统治时期，他两次出任国务总理，掌握军政大权。论资望，靳云鹏在北洋派中仅次于王士珍、段祺瑞、冯国璋等人，与皖系、直系、奉系等派系要人都有较深刻的关系。靳云鹏在辛亥革命、袁世凯窃国、抗日战争等历史事件中都发挥了一定的作用，见证和参与了20世纪上半叶的中国历史。
靳云鹏身为皖系骨干，段祺瑞手下的“四大金刚”（另三人为徐树铮、曲同丰、傅良佐）之首，却同时和直系、奉系政要关系密切；一手把持军政大权，另一手伸向经济领域，钱权两收；善打“政治麻将”（利用打麻将、吃喝嫖赌解决问题），玩弄权术，在军阀内乱、派系斗争中多次转换阵营，但在外敌面前尚能保持民族气节。
