祭(zhài)遵年轻时喜爱经书。家里富裕，而祭遵恭谨俭朴，不爱穿华丽衣服。母死后，背土起坟。曾被衙吏欺凌，祭遵结交宾客杀了衙吏。起初，县中以为他柔弱，以后都害怕他了。刘秀破了王寻等，回往颍阳，祭遵以县吏身份几次进见，刘秀喜爱他的容貌仪表，令他暂为门下吏。
从征河北，为军市令。刘秀的舍中儿（家奴）犯了法，祭遵把他杀了。刘秀发怒，令将祭遵拘捕。这时主簿陈副劝谏说：“明公常想要众军整齐，现在祭遵奉行法令不避权势，正是教化法令所需要的哩。”刘秀就赦免了他，令他为刺奸将军。对诸将说“：对祭遵要多加小心！我舍中儿犯法他照样杀了，对你们是绝不会徇私的。”不久又拜偏将军，跟从平定河北，以功封为列侯。
建武二年（26年）春，拜为征虏将军，封为颍阳侯，与骠骑大将军景丹、建义大将军朱祐、汉忠将军王常、骑都尉王梁、臧宫等入箕关，南击弘农、厌新、柏华蛮中贼。祭遵中了弩箭，伤口流血，众人看到祭遵受伤，逐渐引退，祭遵呼叫斥骂不止，士卒都加倍苦战，于是大破贼兵。当时新城蛮中山贼张满，屯结兵士于险要之处为害人民，诏令祭遵去攻击，祭遵断绝了张满的粮道，张满几次挑战，祭遵坚守壁垒不出。而厌新、柏华的残余重新与张满会合，于是攻下了霍阳聚，祭遵于是分兵予以击破迫其投降。
建武三年（27年）春，张满饥饿困倦，祭遵攻破其城，活捉张满。起初，张满祭祀天地，自己说当为王，既被捉，叹道“：谶文误了我！”于是把他及其妻子儿女都斩了。祭遵引兵南击邓奉弟邓终于杜衍，攻破了。
时涿郡太守张丰捉住使者举兵造反，自称无上大将军，与彭宠连兵。建武四年（28年），祭遵与朱祐及建威大将军耿弇、骁骑将军刘喜共同攻击张丰。祭遵兵先到，急攻张丰，张丰的功曹孟厷捉住张丰投降。起初，张丰喜好方术，有道士说张丰当做天子，以五彩囊裹着石头系在张丰的肘子上，说石中有玉玺。张丰相信了，就造反。既被捉当斩，他还说：“肘有玉玺。”祭遵将其石椎破，张丰才知被道士骗了，仰天叹道：“当死无所恨！”诸将都引回，祭遵受诏命留屯良乡抵拒彭宠。因而派遣护军傅玄袭击彭宠部将李豪于潞，大破其军，斩首千余级。相拒一年多，几次挫败其锋，彭宠党徒许多都投降。等到彭宠死，祭遵进军以平定其地。
建武六年（30年）春，诏令祭遵与建威大将军耿弇(yǎn)、虎牙大将军盖延、汉忠将军王常、捕虏将军马武、骁骑将军刘歆、武威将军刘尚等从天水伐公孙述。军队停留长安，刘秀车驾也到了，而隗(wěi)嚣不想让汉兵上陇，借故推脱以为辞说。刘秀召集诸将商议。都说“：可以暂时拖延隗嚣日月之期，加封他手下的将帅，以促其分散瓦解。”祭遵说：“隗嚣怀挟奸谋已久。如果按兵不动拖延时日，就会促使他诈谋更深，而使公孙述增加警备，所以不如直接进兵。”刘秀听从了，就派遣祭遵为先锋。隗嚣派其将王元拒于陇坻，祭遵进击，破王元军，追到新关。等到诸将到，与隗嚣战，都失败了，引军退陇。刘秀诏令祭遵屯军于汧(qiān)，令耿弇屯军于漆，令征西大将军冯异屯军于栒邑，令大司马吴汉等回军长安。自此以后祭遵几次挫败隗嚣。
建武八年（32年）秋，再从刘秀上陇。等到隗嚣破灭，刘秀东归经过汧(qiān)，到祭遵军营，慰劳饱飨士卒，作黄门武乐，深夜才停止。这时祭遵有病，诏赐厚厚的坐褥，上面覆盖着皇帝用的御盖。再令他进兵陇下。等到公孙述派兵援救隗嚣，吴汉、耿弇等全都逃奔而回，只有祭遵独留不肯退却。
建武九年（33年）春，在军中去世。祭遵灵柩到河南县，帝诏遣百官先到治丧场所会齐，光武身着白色丧服驾临，望着哭泣哀恸。回经城门，阅过丧车，涕泣不能自已。丧礼成，又亲自以太牢之礼祭祀，如宣帝办霍光丧事一样。诏大长秋、谒者、河南尹护丧事，大司农负责费用。等到安葬，帝车驾再亲临，赠以将军、侯的印绶，用漆红了轮子的车子装着，让武士们排成军阵送葬，谥封为成侯。安葬完毕，光武再亲临其坟，妥为安置其夫人家室。
《后汉书》：”清名闻于海内，廉白著于当世。“
汉朝·刘秀："安得忧国奉公之臣如祭征虏者乎！"
唐朝·褚亮：“金坛奇正，得之於怀抱，玉钤攻取，无劳於积习，祭遵儒术，未足方其雅歌，曹仁智勇，才可用其胜。”
《十七史百将传》：“孙子曰：‘法令执行。’遵杀舍中儿而光武知其不可犯。又曰：‘修道而保法。’遵之所在，吏人不知有军是也。”
南宋·徐钧：”执法严明凛不阿，西征北讨战功多。“
北宋·王之道：”边城正藉诗书帅，俎豆於今识祭遵。“
明朝·黄道周：“祭遵一县吏，河北从征。为军束令，不重不轻。舍儿犯法，斩不容情。帝初大怒，既欲法行。戒将莫犯，断不私卿。征蛮南击，贼驽伤形。众惊欲退，遵斥进兵。战气百倍，大破方平。诏尊攻满，获之于生。公孙救陇，众欲回旌。遵独留战，指望功成。奉公忧国，死愈得名。”
