第五伦少年时耿介而好义气。新莽末年，盗贼四起，宗族乡亲争着依附第五伦。第五伦于是在险要之处修筑堡垒，贼人来后，他便率众引弓持矛坚守自卫。先后有铜马、赤眉的军兵数十部围攻他们，都无法攻克。第五伦开始以营垒首领去见郡尹鲜于褒，鲜于褒见到他后，很欣赏他的才干，征为自己的属吏。后来鲜于褒因过失降职为高唐县令，临行时，握着第五伦的手告别说：“只恨与你相知太晚。”
第五伦后来任乡里啬夫，均平徭役，调解怨忿，很得乡里人欢心。他自认为长久任此官不能升迁，于是带着家人迁居河东郡，改名变姓，自称王伯齐。载盐来往于太原、上党之间，所过之处，都把粪便打扫干净才离去，路人都称他为有道之士。亲友和过去的熟人却不知他在哪里。多年以后，鲜于褒把他推荐给京兆尹阎兴，阎兴当即征召他为主簿。当时长安铸钱的官吏多耍奸弄巧，阎兴任命第五伦为督铸钱掾，管理长安的市场。第五伦统一衡器，纠正斗斛，市场上再没有弄虚作假，欺骗买主之事，百姓欢悦叹服。他每次读光武帝刘秀的诏书，常常叹息说：“这是圣明的君主，见他一面，便可以解决大事。”同僚们笑他说：“你连州将都无法说服，怎么能说动万乘的君王呢？”第五伦说：“是因为没有遇到知己，道不同的缘故。”
建武二十七年（51年），第五伦被举为孝廉，补任淮阳国的医工长，随同淮阳王到他的封国。刘秀召见他，深感他与众不同。
建武二十九年（53年），随从淮阳王至京城，与其他官属一同被接见，刘秀向他询问政事，第五伦趁机对奏为政之道，刘秀非常高兴。第二天，又特地召见他入宫，和他一直谈到天黑。刘秀和第五伦开玩笑说：“听说爱卿曾殴打岳父，不让兄长和你一起吃饭，有这种事吗？”第五伦回答说：“臣三次娶妻，她们都没有父亲。少年时曾遭饥荒之苦，实在不敢随便请人吃饭。”刘秀大笑。
第五伦离开雒阳后，刘秀任命他为扶夷县长，还没有到任，又追任为会稽太守。他虽然身为二千石一级的官员，仍然亲自锄草喂马，妻子下炊作饭。所得到的俸禄，也只留下一个月的口粮，其余的都低价卖给贫苦百姓。会稽地区风俗，多滥设祀庙，喜欢占卜。民众常常杀牛祭神，百姓的财产因此困乏，那些自己食用祭祀牛肉的人，发病将死时，先作出牛鸣。先后几任郡长官都不敢禁止杀牛祭祀的作法。第五伦到任以后，给各属县发布文书，晓谕百姓，凡是巫祝有依托鬼神以诈术恐吓愚昧百姓者，都要捉拿问罪。胡乱杀牛的人，官吏都必须给予处罚。民众开始时都很恐惧，有的巫祝胡言乱语地加以诅咒，第五伦却追查得更紧，以后便逐渐绝灭了，百姓得以安定。
永平五年（62年），第五伦因触犯法令被征召，郡中的老少百姓攀住他的车子，拉着马，啼哭着跟随，每天只能走几里路，无法赶路。第五伦于是假装住在亭舍里，却暗中乘船离去了。众人知道后，又前来追赶。及至被送到延尉，官民到京城上书为他求情的有千余人。当时汉明帝正审理梁松的案子，也有很多人为梁松申冤。明帝深为不安，下诏给公车司马令，令其不要再接收为梁松和会稽太守申诉的上书。后碰巧明帝巡查廷尉监狱，审录囚犯，第五伦得以免罪，放归田里。他亲自下田耕种，不与官宦来往。
数年之后，他又被任为宕渠县令，第五伦任职四年，升任蜀郡太守。蜀郡田地肥沃，官民富裕，掾史家中的资财多至千万，都乘坐漂亮的车子，以高头大马驾车，很多人因为有财产得以担任官职。第五伦把家境丰足的官吏全部精简掉遣送回家，改选孤弱贫寒有节操的人担任属吏。从此争相贿赂之风便被禁绝了，官员的职守得到整饬。他所举荐的人多官至九卿或二千石级的官，当时人们都认为他善于识别人才。
第五伦任蜀郡太守七年后，汉章帝新继位，就把第五伦从远郡调入朝廷，接替牟融任司空。
章帝因为马太后（明德皇后）的缘故，尊崇皇舅马廖，让他们兄弟都居于要职。马廖倾心与达官显贵交往，官员士大夫争相前往依附。第五伦认为后族势力太盛，便想让朝廷压抑削减他们的权力。上疏说：“臣听说忠言不用避讳隐瞒，直臣不逃避迫害。臣下不胜狂妄，冒死上疏表白意见。《尚书》说：‘臣下不应作威作福，否则将使自家受害，国家也会受损。’《谷梁传》说：‘大夫不应在境外与人交往，不应接受一束肉的馈赠。’近代的光烈皇后（阴丽华），虽然非常亲爱自己的家人，但终于让兄弟阴就回到自己的封国，流徙和赶走阴兴的宾客。此后梁家和窦家，都有人犯法，明帝即位之后，多加以诛杀，自此以后洛阳城中不再有手握大权的外戚，通过书信请托的事也都没有了。她又告谕诸家外戚说：‘辛苦交结士人，不如一心报效国家，既戴上盆子，又要望天，事情无法两全。’臣下对这些话常铭记在心，书写在带上。而今议论又集中在马家。我听说卫尉马廖以三千匹布，城门校尉马防以三百万钱，私下送给三辅的士大夫，不论是否相识，无不赠送。还听说在腊祭之日，又送给洛阳每个士人五千钱；越骑校尉马光，曾在腊祭时用羊三百头，米四百斜，油五千斤。臣认为这不符合经义，心中惶恐得不敢不向陛下报告。陛下本心是厚待他们，但也应设法保证他们的安全。臣今天说这些话，实在要对上忠于陛下，对下保全外戚之家，请陛下检省裁决。”
当马防任车骑将军，准备出兵征讨西羌时，第五伦又上疏说：“臣下认为对外戚可以封侯使他们富贵，不应当任命官职，委以重任。为什么？对他们绳之以法则损伤恩德，因私人感情思宠他们又违背国家法令。听说马防如今要西征，臣下认为太后恩德仁厚，陛下极为孝敬，恐怕稍有过失，难以因恩宠而不加惩罚。据说马防请杜笃为从事中郎，赐给他很多钱财绢帛。杜笃在乡里为人们所不耻，寄居在美阳，妹妹是马氏的妻子，依凭这种关系与马家来往，他们所在的县令深为他的不守法令所苦，将其收捕论罪。如今到了马防那里，议论的人都有怀疑，觉得奇怪，何况又以他为从事，臣恐怕将会因此议论朝廷。如今应该选拔贤德有能力的人辅助马防，不应让他自己请人，有损于他的事业和前途。我有这些想法，怎敢不上奏给您。”但他的意见都没有被采纳。
第五伦虽然刚烈耿直，然而他也常憎恶庸碌官吏的苛刻。等到升达三公之位，又逢章帝是位忠厚长者，多有良好的政治措施，第五伦于是上疏赞扬美好盛德，借此来勉励教化和德行。上疏说：“陛下即位之后亲自推广天生的德性，体现温文的风姿，以宽宏大量对待臣民。即位四年，先后处死六名贪婪、残暴的刺史、二千石级的官员。这些都是英明圣德的裁断，远非各位臣属所能及。然而诏书每次都要求宽和，但施政却仍然不见宽松，务必要求节俭，可奢侈之风仍然不能制止的原因，就在于风俗有弊端，群臣不称职。光武皇帝在王莽动乱之后，多以严厉的法令施政，后代又承袭光武帝的作法，于是形成风气。诸郡和封国举荐的人，大多是只知守职的庸碌官吏，很少有宽厚博爱能够符合圣上要求的人。陈留县令刘豫，冠军县令驷协都是以刻薄的方式来治理百姓；处理政务时，一心想着诛杀，务必使百姓窘迫困苦；官民忧愁怨恨，没有不痛恨的，可现在议论的人却认为他们能干。这是违背上天的意愿，不符合经典义理的，实在是不能不慎重。不应只是将刘豫、驷协治罪，还应当谴责举荐他们的人。若一心进用仁德贤良的人，委任以政务，用不着多少人，风俗自然就会改变过来。臣下曾读史书和记载，知道秦朝因为用法严酷急迫而亡国，又亲眼目睹王莽因为法令苛刻而自我毁灭，所以施政勤勤恳恳，就在于防止重蹈他们的覆辙。又听说诸王、公主、贵戚、骄奢僭越国家制度，京城中尚且这样，又怎么能限制外地人呢？所以说：‘自己不端正，虽有命令也无人执行，以身作则进行教育，别人就愿意服从；以言论教训别人，则容易引起争论。阴阳调和了，才会获得丰收；君臣一心，教化就能形成。对刺史、太守以下的官员，任命为京官以及在洛阳之外的，陛下都应召见，可以趁机了解四方的情况，还可观察本人的品行能力。对各位官员上书提出建议，有不合法令政策的，可让他们回归家乡，不应过分地以自己的喜怒而处罚，以明示施政宽厚。臣的愚见，不足以让陛下采纳。”
等到马氏诸人因罪而回到封国，窦氏又开始尊贵了。第五伦又上疏说：“臣下以空虚无能的才质，处于辅佐陛下的职位。素来性情迟顿怯懦，却地位尊贵，爵位很高。因而遵循经典大义，暗自鞭策砥砺，即使处于百死之位，也不敢逃避，又何况身处于清谈高论的时代。如今承袭百王遗留的弊端，人们都崇尚文饰巧言，大多趋于邪路，没有人能守正道。臣见虎贲中郎将窦宪，属于后妃的亲属，掌领禁卫军，出入宫廷，正值壮年，志向远大，谦卑而喜好善事，这实在是他喜欢名士并与他们交结的原因。然而那些出入奔走于外戚门下的人，大多品行不端，曾受过法令制裁，特别缺少遵守法令，安于贫穷的气节。士大夫中没有志向之徒更是互相吹捧引见，云集在贵戚的门下。众人一起吹气也会把山吹走，众多蚊子一起叫的声音也如同打雷一样，这就是骄横佚产生的原因。三辅地区议论的人甚至说，因为贵戚而被废职禁烟，应当再由贵戚来洗清罪过，犹如用酒来解除醉酒一样。那些阴险诌佞趋炎附势之徒，实在不可亲近。臣认为陛下和皇后应严令窦宪等闭门自守，不得任意交结官吏士人，以防止祸患于尚未萌生之日，思虑灾害尚未发生之时，使窦宪可以永久保往幸福和俸禄，使君臣都欢喜，没有丝毫的隔阂。这是臣下极大的愿望。”
第五伦晚年时，多次以年老多病为由，上疏请求辞职。
元和三年（86年），章帝允许请辞职，终身给予二干石官员的俸禄，加赐钱五十万，公宅一所。第五伦于数年后去世，享年八十余岁，朝廷下诏赐给安葬的秘器、衣衾和钱布。
《东观汉记》：①第五伦为乡啬夫，平徭役，理怨滞，得民之欢心。②第五伦性节俭，作会稽郡，虽为二千石，卧布被，自养马，妻炊爨，受俸禄常求赤米，与小吏受等，财留一月俸，馀皆贱粜与民饥羸者。③第五伦为司空，奉公不挠，言议果决，无所依违，诸子谏止，辄叱之。
范晔：①第五伦峭核为方，非夫恺悌之士，省其奏议，惇惇归诸宽厚，将惩苛切之敝使其然乎？昔人以弦韦为佩，盖犹此矣。然而君子侈不僭上，俭不逼下，岂尊临千里而与牧圉等庸乎？讵非矫激，则未可以中和言也。②伯鱼、子阿，矫急去苛。临官以洁，匡帝以奢。
钱时：《泰九二》曰：“包荒用冯河，不遐遗。”此大臣所以广进人才之路也。然有一毫朋比之私，即非中矣。是故，必朋亡而后得尚于中行，岂可以赂遗之故而遂不忘于心乎。心不能忘者，心已动于赂故也。虽不受，犹受也。虽不用，犹用也。其原弗窒，其流滔滔，此殖已崇私之病根也。虽然，却其马而不受，绝其人而不用，而独以心不能忘为私，则第五伦亦贤矣。
王夫之：①若第五伦之欲弃耿恭也，则无谓矣。……车师之屯，其当与否，非事后所可归咎于恭也；恭所守者，先帝之命，所持者汉廷之节，死而不易其心，斯不亦忠臣之操乎！车师可勿屯，而恭必不可弃，明矣。伦独非人臣子与？而视忠于君者，如芒刺之欲去体，何也？鲍昱之议是已，然犹未及于先帝之命也。山陵无宿草，忿疾而委其衔命之臣于原野，怨怼君父以寄其恶怒于孤臣，伦之心，路人知之矣。伦之操行矫异，无孝友和顺之天良，自其薄待从兄以立名而已然，是讵足为天子之大臣乎？②章帝初立，鲍昱、陈宠急挢先君之过，第五伦起而持之，视明帝若胡亥之惨，而己为汉高，章帝听而速改焉，将不得复为人子矣。
蔡世远：汉唐以来，人材辈出，后先相望，略综其概，雍容翊赞、有始有终者，魏、丙、第五伦、姚、宋、王旦、李沆、韩、富也。
奉公尽节
第五伦一心奉公，尽守节操，上书论说政事从不违心阿附。他的儿子们经常劝他不要这样，他都予以训斥；吏员们上奏及直接上奏之事，他都封好上报，第五伦就是这样公正无私。他天性质朴憨厚，没有文采雕饰，任职以贞洁清白著称，当时的人把他比作前代的贡禹。然而他对人对事不太宽容，缺少威严仪表，因此而受人轻视。有人问第五伦说：“您有私心吗？”回答道：“先前有人送我一匹千里马，我虽未接受，每次三公选拔举荐官员时，我心里都无法忘记此事，但始终没有任用此人。我哥哥的儿子常常生病，我一夜前去看望十次，回来后却安然入睡。我的儿子生病，虽然没去看望，却整夜难眠。这样看来，怎么可以说没有私心呢？”
巧答刘秀
汉光武帝刘秀曾和第五伦开玩笑说：“听说爱卿曾殴打岳父，不让兄长和你一起吃饭，有这种事吗？”第五伦回答说：“臣三次娶妻，她们都没有父亲。少年时曾遭饥荒之苦，实在不敢随便请人吃饭。”刘秀大笑。
