徒单镒本名叫按出，异常聪明，刚刚七岁，就能熟习女真文字。大定四年（1164年），皇帝命他用女真文翻译书籍。大定五年（1165年），翰林侍讲学士徒单子温献上徒单镒翻译的《贞观政要》、《白氏策林》等书。大定六年（1166年），又呈上《史记》、《西汉书》，皇帝下令将这些译本加以公布。皇帝令挑选各路学生三十多人，令编修官温迪罕缔达教他们读古书，学做诗、对策。被选中的人中最精通学业的是徒单镒，于是他从此通晓了契丹大小字及汉字，完全熟悉了经史。过了较长一段时间，枢密使完颜思敬请示让女真人参加科举考试，从中选拔进士，此议送交尚书省商定后回禀皇帝，皇帝同意。
大定十三年（1173年）八月，皇帝策问女真进士求贤以治的方法。侍御史完颜蒲涅、太常博士李晏、应奉翰林文字阿不罕德甫、移剌杰、中都路都转运副使奚砻主持考试，徒单镒等二十七人进士及弟。徒单镒被授予两职，其他人授一官，前三名担任中都路教授，第四名以下任各路教授。
大定十五年（1175年），皇帝下诏翻译各部经书，著作佐郎温迪罕缔达、编修官宗璧、尚书省译史阿鲁、史部令史杨克忠译文注解，翰林修撰移剌杰、应奉翰林文字移剌履讲析其义。徒单镒以中都路教授选拔为国子助教。左丞相纥石烈良弼曾到国子学中与徒单镒论谈，对他十分敬佩。徒单镒遭逢母亲丧事后，再被任用为国史院编修官。
金世宗曾问太尉完颜守道说：“徒单镒这人怎么样？”守道回答说：“有才力，可担当政事。”皇上说：“对，让他多处理繁杂事务。”又说：“徒单镒举止温文尔雅，性情和蔼可亲。”过了一段时间，徒单镒兼修起居注，累官到翰林待制，兼任右司员外郎。他献上《汉光武中兴赋》，金世宗看后大喜说：“不设立女真进士科，怎么能得到这人！”
金章宗即位，徒单镒升为左谏议大夫，兼任吏部侍郎。明昌元年（1190年），升为御史中丞。不久，被任命为参知政事，兼撰写国史。徒单镒说：“人生有很多欲望，不用制度加以限制，则奢侈之心没有尽头。如今天下安定已久，应当谨慎行事，以便长久太平。”
金章宗坚定致力于政治安定。徒单镒送上奏章，奏文大致说：“我私下看唐、虞之书，他们的臣子对皇帝说‘谨慎啊’、‘勤勉啊’，并用‘吁’表示惊疑，用‘都’表示赞美。既陈述了皇帝应警惕的地方，又用美好的东西来劝导他。皇帝治理时，一定说‘向大家核查，大家的说法对就放弃自己的主张，听从大家的意见’。善于纳谏，因而兴旺。君臣上下之间就是这样相处的。今天陛下继承兴隆的气数，保护太平基业，的确应当考古重德，在这点上留心，不因身外的人或事决定好恶喜怒，不因自己的好恶喜怒忽略友善，不体恤别人的话。上下情况有通达有阻塞，天地的运气有好有坏。唐代的陆贽曾陈述上下情况不通有九种弊病，其中上有六种，下有三种。皇上能注意这六种弊病，做臣子的怎敢不小心待另三病。上下情况既然能通畅，那就抓住了主要环节带动了一切。”此后，徒单镒升为尚书右丞，仍负责撰写史书。
明昌三年（1192年），徒单镒被免去其他职务担任横海军节度使，后改任定武军节度使，任平阳府知府。先前，郑王完颜永蹈任职定武军，镐王完颜永中任职平阳府，相继获罪，受牵连的人很多，皇帝怀疑他们有同党，也许因为这个缘故，任命徒单镒为定武军节度使，随即又请他管理平阳。之后改任西京留守。
承安三年（1198年），徒单镒改任上京留守。承安五年（1200年），金章宗问宰臣：“徒单镒与完颜宗浩谁更好？”平章政事张万公答道：“都是有才能的人，徒单镒似乎更强些，他有操守，宗浩多数而已。”皇帝问：“什么叫多数？”张万公说：“宗浩略有些好迎合。”皇帝说：“你说得对啊。”不久，徒单镒被提升为平章政事，封济国公。
金章宗在位期间，淑妃李师儿专宠于后宫，她的兄弟横行霸道，朝臣常常奔走于他们门下。一次一连几天狂风蔽日，皇帝下诏问天象变异的缘故。 徒单镒上疏大致说：“仁、义、礼、智、信叫五常，父义、母慈、兄友、弟敬、子孝称作五德。如今五常不建立，五德不提倡，官宦士人抛弃礼义，忘掉廉耻，小民背道德叛信义，迷惑而不知悔改，背弃损毁天常，骨肉相残，动伤和气，这不是一朝一夕的原因。现在应端正不淳厚的民俗，顺应人心，对待父亲、子女，对待丈夫、妻子，各遵循应有的准则，这样才能和气融洽，使得福禄频频来到。”因而评论说：“治理政事的方法，紧要的有两点：其一，纠正臣子的心态。私下见众臣不明礼义，贪图功利的人很多，怎么能责怪老百姓跟着他们变化呢？用人时，德行端正的为上，才高为下。两者兼有待以不同等级，才不高德行好的次一等，虽有才能，行为道义没有可取之处的人，要压一压放在低位上，那么当臣子的风气就正了。其二，引导学者的志向。教化工作的推行，关键在学校。如今学者失去本来应有的求真的美德，经史高深，抛弃它不去学习，学点词藻华丽不真实的东西，钓取地位名利，我请求取士时同时考考经史典故，使学者坚持学习经学，不为当前浮靡文风所惑，就好了。”又说：“凡天下的事情，多头来的不是一头，相似的不是同一体，法律制度不能完全套用，因为相似而掩盖了真相，就会产生不同的议论。孔子说：‘道义是天下必须遵循的制度。’《礼记》说：‘道义是判断的凭证。’请陛下处理日常政务时，遇到对事情的处理有不同主张时，稍微多考虑一下，找到事情发生的原因理出头绪，那样就能确定如何裁决，并且能分辨疑问。”徒单镒的话句句切中时弊，皇帝虽然接受他的主张，却不肯施行。
皇帝问汉高祖、光武帝的好坏。平章政事张万公答道：“汉高祖好得多！”徒单镒说“：光武再建汉的基业，在位三十年，没有沉溺于酒色的事情。高祖被戚姬所迷惑，终于导致变乱。从这点说，光武帝好。”皇帝听后不说话。徒单镒大概因为元妃李师儿宠爱过度，所以暗暗规劝。
泰和四年（1204年），徒单镒被免去平章政事，改任为咸平府知府。泰和五年（1205年），改任南京留守。泰和六年（1206年），调为河中府知府，兼任陕西安抚使。
仆散揆管理河南、陕西行省，元帅府虽受仆散揆控制，但实权上，皇帝考虑用谋臣掌管，为此升宣抚使为一品官，徒单镒改任京兆府知府，担当宣抚使，陕西元帅府一并受他节制。诏书说：“将帅虽勇猛，久经沙场，但宋人狡猾，也要凭借计谋取胜。你的才智韬略，我很熟悉，况且是辅助得力的老臣，因而对你有此重托。你应当有长远的策略抵御敌人，训练兵士安抚百姓，不辜负我对你的希望。” 徒单镒提出：“当初设置急递铺本来为了方便转送文件，如今都靠乘驿，不便利。”皇帝十分赞同，马上就开始设置提控急递铺官。从中都到真定、平阳设置的急递铺，可以到达京兆。京兆到凤翔设置的急递铺，可以到达临洮。从真定到彰德设置的急递铺，可以直达南京。从南京到归德设置的急递铺，可以到达泗州、寿州，从南京到许州设置的急递铺，可以到达邓州。从中都到沧州设置的急递铺，可以到达益都府。从此传递文书不再滞留了。
泰和七年（1207年），自称蜀王的南宋叛将吴曦被杀，宋朝将领安丙分别从秦、陇间出兵。十月，皇帝下令徒单镒出兵金、房用来分别牵制宋人梁、益、汉、沔的兵势。徒单镒派遣行军都统斡勒叶禄瓦、副统把回海、完颜掴剌领步骑兵五千出商州。十一月，叶禄瓦攻取鹘岭关，偏将掴剌攻破燕子关新道口，回海攻占小湖关敖仓，到营口镇，击溃宋军千余人，追到上津县，斩首八百多，接着攻取上津县。叶禄瓦在平溪击溃宋兵两千人，将要进攻金州。宋朝官员王柟写书求和，皇帝下诏令徒单镒调回叶禄瓦军退守鹘岭关。
泰和八年（1208年）正月，宋朝将领安丙调遣景统领从梅子溪、新道口、朱砂谷出兵偷袭鹘岭关，回海、掴剌打跑了他们，并斩杀景统领。同年，双方休战。徒单镒升特进，按级别赐赏，改任真定府知府。
大安初年，朝廷加封徒单镒仪同三司，封濮国公，改任东京留守。徒单镒经过京城时入见皇帝，卫绍王对徒单镒说：“你是历经两朝德高望重的老臣，我想任命你担任丞相。太尉完颜匡，是你的门下，我不能委屈你的地位在他下面。”于是升任徒单镒开府仪同三司，佩带金符，担任辽东安抚副使。
大安三年（1211年），徒单镒改任上京留守。平章政事独吉思忠在会河堡战败，中都戒严，徒单镒说：“情况危急！”及时选兵两万，派同知乌古孙兀屯统领，进入中都防卫。朝廷嘉奖他，征召任命他为尚书右丞相，监督撰写国史。
徒单镒说：“从用兵以来，对方集中兵力行动，我方分散防守，用集中攻击分散，失败是必然的。不如退而保卫大城，合力防备抵御。昌、桓、抚三州向来号称富实，人人都很勇敢强健，可以内迁，增加我方的兵力，人畜财物，都不至于丢失。”平章政事移剌、参知政事梁絪说：“这样是自损国土。”卫绍王因而责备徒单镒。徒单镒再次奏道：“辽东这地方是国家的根本，相距中都数千里远，万一遭到袭击，州府观望，必须上报得到许可方能出击，实在误事。要派大臣以行省的地位镇守。”卫绍王不高兴地说：“无故设置行省，只会动摇人心罢了。”后来蒙古军队进攻，金国失去昌、桓、抚三州，卫绍王这才大为后悔，说：“听丞相的话，当不至于此！”不久，东京失守，卫绍王公开说：“我见到丞相十分羞愧。”
术虎高琪驻兵缙山，十分得人心，士人乐意为他所用。至宁元年（1213年），尚书左丞相完颜纲要到缙山指挥战事。徒单镒对完颜纲说：“你不必自己去，不如增兵更有利。”完颜纲不听，要走的时候，徒单镒又派人制止说：“高琪的功劳就是你的功劳。”完颜纲也听不进去。结果完颜纲刚到缙山指挥战事，就战败了。
至宁元年（1213年），徒单镒从马上跌落伤到了脚在家休假，听说胡沙虎造反，就动身前往官署。有人告诉他说：“省府相幕都有军士把守，不能进入。”一会儿，见兵士在街道巷里抓人，徒单镒于是返回家中。这时，胡沙虎因为不能预料形势的发展，正在犹豫，不能决定下一步怎么办，于是到徒单镒家去问候他的病情，想听听声望高的人的意见。徒单镒从容的对他说：“翼王，是章宗的兄弟、显宗长子，众望所归，元帅决策立他为帝，这是万世的功劳。” 胡沙虎没说什么就走了，于是到彰德迎立金宣宗。胡沙虎已杀徒单南平，想抓他的弟弟真定府知府徒单铭，徒单镒劝他说：“皇帝车驾从真定过，镐王家在威州，河北人心易乱，徒单铭叛变，朝廷就危急了，不如给他金牌，迎接车驾，徒单铭一定感激您的恩德。”胡沙虎听从了他的意见。皇帝轮替时期，转败为胜，全都依赖徒单镒呀！
金宣宗即位，升任徒单镒为左丞相，封广平郡王，授予中都路迭鲁都世袭猛安蒲鲁吉必剌谋克。徒单镒脚伤未好，皇帝令他上朝不需跪拜。贞祐二年（1214年），徒单镒建议和亲。有人请求废去按察司，徒单镒说：“如今郡县多有残破毁坏，正要按察司抚慰安定，不可撤去。”终于阻止了这项建议。金宣宗想去南京，徒单镒说：“圣驾一启动，北路都不守了。如今已经讲和，招兵积粮，坚守京师，才是上策。南京四面受敌。辽东是根基，靠山背海，其险完全可以依靠，防御好一面，作为日后图谋，这是次一等的计策。”皇帝不听。
贞祐二年（1214年），徒单镒去世，皇帝赐予很多财物以优厚的待遇给他办丧事。
徒单镒对金王朝中后期的科举乃至学风，有相当的影响。金章宗承安时期，徒单镒上书言“五常”，并趁机论为政之术，其二便是“引导学者的志向”。要“纠正臣下的心态”，用人要“德器为上，才美为下”。实际上是他针对当时萎靡虚妄的学风向章宗提出的恳切建议。为此还写了《学之急》、《道之要》两篇，被太学诸生刻于石碑之上。
至宁元年（1213年），胡沙虎发动政变杀死软弱无能的卫绍王完颜永济，但却不知道接下来该怎么办。徒单镒劝胡沙虎拥立金章宗异母兄完颜珣。胡沙虎遵从，到彰德迎立完颜珣继位，即为金宣宗。
