张作霖主政奉省时，汤仍任53旅旅长，同时兼任省城密探司令。汤在省城目无法纪、乱用军权，深为市民所恶。历任警务处长都惧怕汤玉麟，无法惩治汤部违法官兵。1916年5月，张作霖起用王永江为奉天省警务处长兼省会警察厅长。王对兵弁违法，悉强之以法，引起汤玉麟不满，军警两界时起冲突。后因警界误擒汤玉麟的侦探，军警矛盾日益激烈。及至张作霖答应取消密报缉捕案犯权。
汤视王为死敌，他纠集张景惠等人武装晋见张作霖，非要张作霖撤换王永江。后来矛盾发展成与张作霖的宿敌28师师长冯德麟合谋反对张作霖。事败之后，汤所随从不过200人。张作霖感念从前交情，同时闻知汤有悔心之萌，遂派吴俊升去接纳汤玉麟。汤自知前非，真心悔过，张作霖拟以他职以观后效。不料后来侦知汤有勾结北京政府当权者、计划招募军队以取张而代之劣迹，遂不复使用。
1917年汤、冯去北京参与张勋复辟失败，汤逃回原籍陷隐居。以后在张作相、张景惠、汲金纯和汤母的请求下，张作霖同意汤回省城，以宽容之心接纳了汤玉麟。张、汤言归于好，张任命汤为东三省巡阅使署中将顾问。直皖战争发生后，汤任侦察队长，潜入北京活动。
1920年5月复出，任东边道镇守使兼右路巡防营统领。1922年第一次直奉战争中，汤任奉天陆军第11混成旅旅长；1924年第二次直奉战争中，汤作为总预备队率部驻守绥中待命。战后提升为第11师师长。郭松龄反奉时，汤作战勇敢，擢升第12军军长。不久出任热河都统，把守奉张西北大门。
1928年12月29日，张学良、张作相、万福麟、汤玉麟、翟文选、常荫槐六人联衔发表易帜通电。汤玉麟升任东北政务委员会委员、热河省主席。
1931年3月26日，东北四省一市党务指导委员会正式宣告成立。张学良、张作相、万福麟、汤玉麟、张景惠分任辽、吉、黑、热、哈党务指导委员会主任委员。
汤玉麟，辽宁锦州义县人，1871年7月生于辽宁义县稍户营子霍家沟（今称太平沟）。汤玉麟少年之时因家贫无钱读书，自幼给富人家放牛、放羊，稍长给老板赶车，为雇主运输货物往来于朝阳和阜新之间，为了防身他苦学骑射有百步穿扬之功，因其身材高大，能力举数百斤因而远近皆知。汤玉麟在一次外出运货归来时途遭土匪打劫，因势单力薄吃了大亏一怒之下到大凌河投奔苑四、苑五兄弟当了绿林好汉，开始了打家劫舍的土匪生涯。汤玉麟剽悍勇猛专爱与人斗狠，他为争宝局竟手下滚烫的油锅捞秤砣；他与人争夺码头时则将煤球放在自己大腿上烧，并用烧红的铁条烫自己的肋骨；而他缺钱时竟割大腿部上的肉作赌押，为此名震一方成为地方的一霸，因汤玉麟勇猛凶狠苑氏兄弟也敬他几分，所以他上山不久就被封为二当家的，因此绿林中人都称其为“汤二虎”。
汤玉麟不甘寄人篱下，出山不久就自立门户带着一帮亡命之徒进占锦西虹螺山自树一帜招兵买马当上山大王。清光绪二十年（1894年）一些参加中日甲午战争的清军溃败后投入到汤玉麟的山寨入伙，因而使其部武器精良加强了作战能力，使汤玉麟在辽河流域成了一位出了名的大杆子。
光绪二十六年（1900年），张作霖率领的保险队受到土匪金寿山的进攻，幸汤玉麟率部解救才使张作霖免于此难。张作霖感激汤玉麟救命之恩与其结为金兰之交的兄弟，因汤玉麟年长张作霖四岁，为此张作霖奉汤玉麟为义兄。同年秋，张作霖礼聘汤玉麟至中安堡镇结盟，他们以此为中心负责保卫附近的27个自然村。张作霖仰仗汤玉麟的扶植势力逐步扩大，因此汤玉麟成为张作霖成立奉系的起家勋臣之一。同年夏历腊月三十夜晚，金寿山为报私仇会同沙俄骑兵中队偷袭了中安堡打了守军一个措手不及，张作霖和汤玉麟杀出包围身边仅剩下十余个亲兵，于是二人带领余部投奔八角台商务团练张景惠。张景惠非常欣赏汤玉麟的组织能力，于是让他帮助训练团丁，并令他带队剿匪。
光绪二十八年（1902年），张作相也来入伙。商务团不断扩大团丁发展到450余人，并消灭了巨匪项昭子。为了名正言顺的发展实力，汤玉麟随张景惠、张作霖接受清朝政府的招安，奉天将军将商务团改编为奉天前路巡防营，张作霖任管带，汤玉麟也由此摇身一变成了清政府的下级军官左哨哨官。
光绪三十三年（1907年）清政府改盛京为奉天行省，徐世昌出任东三省总督，为推行新政徐世昌密令汤玉麟将反复无常的杜立山除掉，汤玉麟接受命令后巧施妙计杀了杜立山，因功升任马队管带。光绪三十四年（1908年）2月，汤玉麟奉命率部至大兴安岭索伦河郑家屯追剿蒙古郭尔罗斯前旗蒙古抗垦队伍陶克陶胡，陶克陶胡是破落的蒙古台吉，因其不满旗札萨克齐穆特色木丕勤等放垦旗地政策，于是代表蒙古牧民请愿不想却遭暴打，为此他组织武装抗垦捣毁垦荒局，打死日本测绘人员，因而得到蒙古人民的拥护和支持。陶克陶胡起义军被汤玉麟击溃后避入深林坚持游击战，汤玉麟因轻敌深入林中作战而失利，为此被罚免去官职留军中戴罪立功。
宣统元年（1909年）汤玉麟因两次率队冒死救出被陶克陶胡抗垦队包围的张作霖有立功表现，因而恢复官职任骑兵管带。陶克陶胡在张作霖、汤玉麟部的打击下被迫退出哲里木盟中部各旗经乌达盟北部、锡林郭勒盟东部进入外蒙古投靠了俄国沙皇支持的外蒙古任兵部副大臣，屡率兵进犯中国终成为中国人民的叛徒。
宣统三年（1911年），辛亥革命成功；1912年1月1日，中华民国临时政府在南京成立，汤玉麟出任陆军第27师骑兵团团长。
民国三年（1914年）2月，袁世凯出任中华民国大总统后，极力拉拢东北军诸将领升任汤玉麟为陆军第53旅少将旅长，次年又迁升其为中将旅长。
民国5年（1916年），张作霖出任奉天省督军兼省长，本来应该重重提拔与他生死相交的汤玉麟，但因汤玉麟自认为是奉系创业元老，为此骄横跋扈多有犯上之举，因此遭张作霖反感，所以多方掣肘汤玉麟在奉系的发展，所以此次只任命其兄张作相为27师师长，并提拔王永江为全省警备处长，却没有擢升老大哥汤玉麟。翌年初汤玉麟因不满张作霖对他的压制则借王永江整肃军纪之际枪杀了两名执法处的宪兵，以此之举杀鸡给猴看对张作霖施加压力，张作霖为此大为震怒，由此兄弟之间产生了隔阂。
民国6年（1917年）3月19日，张作霖下令免去汤玉麟的一切职务；3月20日汤玉麟也不甘示弱率两个团兵力反出奉天城进入冯德麟第28师防地，他联合冯德麟共同发表反张通电要求张作霖立即下野。
民国6年（1917年）6月，辫帅张勋率辫子军入京复辟满清，汤玉麟坚决拥护张勋复辟满清王朝立即率部入京参加复辟运动；7月1日汤玉麟追随张勋、康有为入宫拥清宣统皇帝溥仪复辟，恢复清朝旧制。7月12日复辟运动在段祺瑞、汤化龙指挥的讨逆军打击下土崩瓦解，复辟宣告失败，张勋败逃荷兰使馆；汤玉麟则率部北逃蒙古避祸。
民国7年（1918年）1月经张景惠与汲金纯从中翰旋，又搬请出汤玉麟的母亲商氏出面相劝，汤玉麟才与张作霖握手言和率部回到奉天出任东三省巡阅使张作霖的中将顾问。
民国9年（1920年），直皖战争爆发，张作霖委以汤玉麟为奉军侦探队队长入京侦查京师动静。10月汤玉麟回奉天复命将所得情报报告给张作霖，使奉军有备而出。
民国10年（1921年）5月张作霖任命汤玉麟为奉天东边镇守使兼左路巡防队统领及东北陆军第11混成旅旅长、剿匪司令，率部驻扎在凤城。
民国11年（1922年）4月直奉第一次战争爆发，汤玉麟率部入关作战，其率一团军队负责保卫军粮城奉军总司令部张作霖的安全，奉军战败后退出关外，汤玉麟改任第7混成旅旅长兼奉天东边镇守使。
民国13年（1924年）秋汤玉麟率部参加二次直奉战争，其部为奉军总预备队在绥中集结待命。10月22日直系将领冯玉祥发动“北京政变”，回师囚禁了曹锟大总统，驱逐了宣统皇帝，直系遭此内变而失败，奉军因而长驱入关控制了北方局势。
民国14年（1925年）3月23日，汤玉麟升任东三省国防军第11师师长，驻军热河朝阳、北票一带，其部虎视北京使段祺瑞政府和冯玉祥的国民军如芒刺在背不敢掉以轻心。
民国14年（1925年）11月，奉军军长郭松龄联合国民军总司令冯玉祥起兵反奉，因郭松龄在军界负有盛名，因而奉军无不胆怯一触即溃。12月20日，郭军攻占大民屯第六方面军吴俊升的军团总部，此时张作霖众叛亲离，以无反击之力，只有在奉天帅府坐等失败的到来，在此关键之时驻军新民县三家子的汤玉麟再次出兵保驾。12月22日，汤玉麟率军从门台进军直抵张家屯向大民屯发起猛攻，双方展开了激烈的争夺战，郭松龄战败而逃，汤玉麟又在义县大凌河设伏截击郭松龄叛军，致使郭部全军覆灭，郭松龄被迫宣布下野。同日郭松龄在翟家窝子被王永清部活捉，当即被处决。汤玉麟因再次挽救了割据东北的张氏王朝，张作霖认为其“忠勇可靠”，因而尽释前嫌。因冯玉祥在此次反奉之战中秘密支持郭松龄，张作霖元气稍一恢复下决心报复冯玉祥。
民国15年（1926年）3月，张作霖先与直系大帅吴佩孚握手言和，使冯玉祥的国民军陷于孤立局面，张作霖趁势命令汤玉麟率部攻占张家口由国民军背后发动攻击，国民军战败被迫退出北京向西北转移。张作霖入京后，筹组安国军政府，自任安国军大元帅，汤玉麟因功升任安国军第五方面军第12军军长。4月5日张作霖为报汤玉麟前次救命之功，又加封汤玉麟为热河都统。
民国16年（1927年）5月夺得国民党军政大权的蒋介石决心再次北伐，其委以阎锡山为国民革命军北方军总司令；9月下旬阎锡山率领13万晋军主动向奉军发起进攻，晋军左路军总指挥商震和左路军前敌总指挥张荫梧向京绥线上进攻，连克张家口、万全、宣化等地兵锋直指京师。张作霖闻知大惊急令汤玉麟、张作相、万福麟率部迎战晋军左路军，汤玉麟率部由京绥线反攻阎锡山的大军，双方在河北宣化一带决战，两军激战六天六夜，晋军左路军被汤玉麟部打的丢盔卸甲，溃不成军，败退到山西天镇、大同坚守。雁门关，阎锡山被迫宣布下野。汤玉麟因在“晋奉之战”中勇敢善战指挥有方，他统帅的左路军所取得的胜利为全局胜利取得了决定性作用，因而使其勇冠三军，被奉军视为“战神”。
因张作霖反对与日本关东军合作，日本特务在皇姑屯将其炸死，其子张学良秘密潜回继承了东北帅位，挽救了时局。
民国17年（1928年）7月19日汤玉麟以热河主将率先响应民国政府号召通电宣布热河省易帜服从国民政府、奉行三民主义，国民政府任命汤玉麟为热河省保安司令；12月9日在汤玉麟的影响下，张学良接受了国民政府的任命，宣布东北易帜。12月31日国民政府任命汤玉麟为热河省省长、国民党热河省党部常委兼第36师师长，驻节承德省会。
民国18年（1929年）1月汤玉麟当选为国民政府首都建设委员会委员，张学良为了笼络父辈对他的支持请汤玉麟出任东北政务委员会副主席，汤玉麟为中国的重新统一立下了汗马功勋。
热河省是满清王朝的行宫，清雍正时期有山东、河北两省的汉人迁此定居承包蒙族的草场开垦为耕地；清乾隆14年（1749年）至清光绪28年（1902年）满清政府屡下诏令“禁止汉人移民实边，开发蒙地”，因而热河地区始终是蒙古人和满族人统治的地区，汉人没有实力。汤玉麟自当上了封疆大吏恃功而骄，开始在热河营造自己的独立王国，他让自己的兄弟汤玉书、汤玉铭、汤玉山、汤宝福协助其统辖军队；让儿子汤佐荣、汤佐辅协助其掌管财政；他的女婿周铁铮则当上阜新县长帮他管好大后方根据地。汤玉麟在热河省极力扩充军队，到处建造离宫别馆，为了维持他庞大军队的开支和自己的享受，他大肆搜刮民财巧立各种税捐名目，刚至民国18年（1929年），他已开始征收民国30年（1941年）的地亩税。汤玉麟以解决军饷为由在中央政府的首肯下成立禁烟局，在禁烟局的指导下热河农民开始种植鸦片，而他则从中获取暴利。历经几年的积累汤玉麟在热河省真可说得上是一手遮天；而他的军队却由一支虎军蜕变成一支一手拿步枪；一手拿烟枪的双枪兵，战斗力也大大减弱。
民国19年（1930年）春，汤玉麟不顾社会舆论命儿子汤佐荣率兵偷挖了内蒙古巴林左旗白塔子王坟沟辽圣宗、辽光宗、辽道宗三个皇帝的陵墓，并将全部出土文物占为已有运往沈阳私宅收藏。同年汤玉麟投入巨额资金在天津河北区民主道38号（现为天津市工商管理局）兴建一座砖混结构私宅，其宅占地面积4323平方米，建筑面积3341平方米，三层带地下室，其建筑豪华，陈设华丽，是天津最为显著的豪宅之一。汤玉麟权势日高，名声越臭，许多土匪都打着他的名声在为横行霸道，还有一位女土匪声称是汤玉麟的侄女在为打家劫舍无恶不作，因此汤玉麟在中国人民心目中被视作“土匪省长”。
民国20年（1931年）9月18日日本关东军乘张学良率奉军主力入关参加中原大战之机发动突然袭击攻占了东北三省，张学良因没有作任何抵抗就丢失东北三省而遭到国人的痛斥。9月19日汤玉麟在沈阳的一部分家属携带细软跑到沈阳小南关的法国天主教堂避难，日本驻沈阳特务机关为拉拢汤玉麟就让台湾籍汉奸谢履西（伪满外交大臣谢介石的族弟）和日本宪兵队护送汤玉麟全家大小和细软乘南满火车去大连，再搭船到天津别墅，以此向汤玉麟抛出橄榄枝。
民国21年（1932年）1月，国民政府为加强北平、河北、热河、察哈尔几省的合作以巩固北方国防，任命汤玉麟为北平政务委员会委员。民国21年（1932年）3月9日日本关东军扶立清逊帝溥仪在吉林长春登基，建立以东北三省为基础的伪“满州国”，日军又谋进取热河，日本人对汤玉麟大加利诱企图迫使他投降；溥仪也未忘汤玉麟曾参加张勋复辟拥立其功则与日本关东军密议许以汤玉麟为满州国参议府副议长之职对其进行拉拢。3月29日日满单方面宣布汤玉麟为满州国参议府副议长、热河省长兼热河军区司令；4月初日本关东军敦促汤玉麟叛国出任伪职，但当即被汤玉麟拒绝，他大骂伪满特使道：“张雨亭(张作霖)是我拜把子弟兄，你们害死他，我没有那么混蛋，去作你们的官！”汤玉麟叫人立即将伪满的委任状由邮局退还回去。汤玉麟又对张作相派来的特使赵毅道：“吾乃国家疆吏，守土有责，誓死抗战，决不丧国家之地。”汤玉麟的爱国之举传出受到国人的敬重，善良的中国人民不再计较他的贪婪，而只注重他的义举。7月21日国民政府电令汤玉麟“守土尽职”；8月任命汤玉麟为军事委员会北平分会委员。同年冬日军占领了锦州使华北门户顿开，日军进窥热河省门户北票，并通知汤玉麟派代表到北票会谈。日方代表武部六堂、关东军参谋长代表和锦州日本驻军代表出席了会议。汤玉麟派公安管理处处长张舜卿前往参加，会上日方向张舜卿提出了三条要求：第一：汤玉麟是满洲国委任的热河省长兼军区司令，必须派亲信为代表常驻长春加强联络；第二：为了满、热一体的关系，要汤玉麟同意把铁路由北票延长修建到承德；第三：为了加强联系，要汤玉麟同意日本军部在承德设无线电台。汤玉麟得知谈判结果后断然拒绝日军的无理要求。
民国22年（1933年）2月日寇图谋热河，国民政府任命汤玉麟兼任第55军军长，继又宣布他为第五军团总指挥、热河省驻防军上将总司令，统帅20万守军负责建平至赤峰一线防御和作战任务。但国人认为汤玉麟不可靠，恳请行政院长兼财政部长宋子文加强热河防务。2月11日宋子文飞到北平与张学良商议热河防守问题。2月16日下午社会民主人士在东城外交大楼成立了东北热河后援协进会，张伯苓当选为主席，会上通过章程并决议：（一）通电全国人民热河后援会成立，要求全国一致起来援助；（二）通电全国军政官兵，请一致团结御侮，并决定派人去热河察看情形进行援助。2月16日张学良在顺承王府官邸召集有关将领会议分配防务作去热河的准备。因汤玉麟对张学良下达东北军不抵抗命令致使东北三省丢失，陷三千万父老乡亲与日寇的铁蹄之下而不满，因而蔑视张学良的领导地位；而张学良认为自己下达不抵抗命令只是怕脾气暴躁的东北军引起两国纠纷所以下令约束他们，不想日本关东军竟真的动起手来，因此张学良要抗战了，但因汤玉麟不听他的指挥棒，所以张学良要临战前换将，让他的伯父张作相(原吉林省主席)取汤玉麟而代之，出任热河防务主帅，任总司令，降汤玉麟为副总司令。汤玉麟闻知大怒对张学良重用私人的做法大为不满，更觉得张学良要借此机会除去异己夺他的兵权，因而将帅之间发生矛盾。
民国22年（1933年）2月17日宋子文与张学良来到热河，汤玉麟闻讯大骂说：“小六子（张学良小名）是不是勾结宋子文等来打我的主意！”众将说：“宋子文是代表中央，张汉卿是华北直接指挥的长官，因热河防务吃紧前来观察名正言顺，阁帅不应加以阻止还应趁机向他们要些钱、要物。”汤玉麟于是率文武官员数十人至郊外广仁岭迎接，并将宋子文、张学良等安置在承德都统公署。次日举行会议，宋子文表示：“南京与全国皆非常关怀热河的安危，请大家保国卫土，所需饷械我当负责，并与汉卿（张学良）随时接头办理。”张学良亦勉励大家：“誓守热河准备反攻，以雪九·一八之耻。”宋、张二人只谈些冠冕堂皇的形势却没有任何战略决策，汤玉麟非常愤怒，他先表示“决心誓与日寇周旋不放弃一寸国土”；而后他在会上指责宋子文、张学良道：“为什么不给热河军队提供军饷枪械，这是抗日吗？连个屁都没有，能打日本人？”但宋子文、张学良只想贪政治彩头，在军事防务会议没有召开的情况下就急着将他们由北平带来的由宋子文、张学良署名致日内瓦中国驻国际联盟代表团的电函发出表示：“中国政府和人民决心抵抗日寇的侵略，集中兵力保卫热河，请向国联和全世界声明”；同时还发出了由张学良、张作相、汤玉麟、万福麟、宋哲元等27名守卫热河的将领联名通电：“向南京及全国表示决心抗战，呼吁全国一致支持”；而后宋子文、张学良就离开承德返回北平，这种仓促而不负责任的部署已经注定了战争的失败。汤玉麟是张学良的前辈因而以长辈自居，根本不把张学良放在眼里，也不肯接受第三集团军司令张作相的指挥，张作相因汤玉麟不肯配合他，使这位总司令如同虚设，主帅不合致使军心动摇，各部队也对战事无信心、无决心、无准备。在热河危急的紧要当头，奉命前来驰援的第41军军长孙殿英等将领都以汤玉麟的马首是瞻，热河官兵则要求政府先发三个月军饷让将士们吃饱了肚子再去御敌，而蒋介石却将希望寄托在国联出面干预所以对热河也不加戒备，但日本却主动退出国联，使其挣脱了国联的束缚，因此对中国领土的要求更加肆无忌惮。
民国22年（1933年）3月1日日军照会国民政府要求撤退热河驻军而遭拒绝；3月2日日军乘热河省将帅不和之机，由日本关东军司令亲率三个日本师团，并配有张海鹏和于芷山的伪军，举兵十万大举进攻热河省。日军以锦州为大本营分兵三路对热河省发动进攻：一路由绥中进攻凌源；一路由锦州进攻朝阳；一路由通辽攻进开鲁。此时热河省防务还没有部署到位，张作相原计划配备的防守兵力有多一半尚未到达防地，根本未构成一个防御体系。汤玉麟部的崔兴武旅负责防守开鲁一线，其部在日军飞机、坦克陆空配合作战下首先投降；万福麟的第四军团负责防守凌源一线亦闻风溃退；朝阳随即失守，三条阵线同时溃败使日军如入无人之境。日军攻占凌源、赤峰一线，热河告急，守土主帅张作相不思抵御之策却率先乘汽车逃往古北口。3月3日日军分三路大举进攻热河省会承德，先头部队128名骑兵已出现在承德城外，汤玉麟留下孙殿英部抵御日军，3月4日晨汤玉麟率5000余人保护着省政府机关人员撤出热河退至滦平欲从古北口入北平。
但滦平守军接到张学良的命令奉命阻止汤玉麟回北平；汤玉麟无奈只好率部经三道梁、长山峪转赴安匠屯逃往丰宁。4日13时日军由承德商界代表迎接入城。热河之役的主帅张作相、汤玉麟都走了，土匪出身的孙殿英却率部与日军浴血奋战七天七夜歼敌四五百人，打出了中国军人的威风受到全国人民的好评（可十年之后，这位抗日将军孙殿英却投降了日本人，当上了伪第四方面军总司令）。日军仅用了七天时间占领了热河省全境，消息传出舆论大哗，宋庆龄女士在国民御侮自救会成立大会上愤怒遣责道：“谁是防守热河的，鸦片将军汤玉麟，他就是开门放日本军队进中国的”。东北民众抗日救国会和热河后援会建议张学良把汤玉麟捉住正法，以振士气而励人心，但汤玉麟已逃往察哈尔竟得幸免。
张作相、汤玉麟丢失了热河省，全国舆论哗然同声谴责南京的军事和外交。3月8日国民政府正式宣布对汤玉麟“褫职查办。”但丢失东三省和热河省的主帅是张学良，因而国人将攻击目标主要集中在张学良身上，甚至直指蒋介石。3月8日张学良被迫向南京政府辞职，蒋介石派军政部部长何应钦视察北平做好接管准备，自己也偕宋子文北来于石家庄电约张学良到保定会晤。3月9日张学良偕北平绥靖公署副官署长汤国桢等到达保定，宋子文代表蒋介石与张学良谈判：认为热河失守，张学良守土有责受到全国人的攻击，中央政府更是责无旁贷蒋介石首当其冲，当时只有先下去一人以避浪潮。
张学良同意先行下野，于是蒋介石才来保定与张学良相见。宋子文与张学良商谈了善后问题拟将东北军编组为四个军，由于学忠、万福麟、何柱国、王以哲四个人分别统率，北平军分会由何应钦任代理委员长，并调中央军第2师黄杰和第25师关麟征开赴古北口，以抵抗日军的前进。蒋介石对日本继续推行他的外交为主政策，并调黄郛到北平来主持政务专办对日外交。汤玉麟退路已绝，伪满洲国乘机派代表约见汤玉麟的儿子汤佐荣，再次以汤玉麟出任满州国参议府副议长兼热河省省长为诱饵劝汤玉麟投降日满。同年3月国民政府侦知此举，认为汤玉麟有叛国之意则下令通缉汤玉麟。但汤玉麟并没有卖国，他拒绝接受伪职维护了自己的尊严。
民国22年（1933年）4月14日汤玉麟率部撤至察哈尔，为了表示自己的抗日决心；5月汤玉麟亲至河北赤城县独石栅子与抗日同盟军北路前线总指挥吉鸿昌及抗日救国军总司令方振武密商抗日大计，被任命为抗日同盟军察东游击司令。1933年10月，宋哲元收编汤部，委汤玉麟为29军总参议，从此失去了军权。
民国23年（1934年）1月，汤玉麟率部宣布抗日，他率军配合吉鸿昌发动了收复多伦、古源等战役给日寇以沉重打击。10月汤玉麟因与刘桂堂争夺防地发生战斗，察哈尔主席宋哲元出面为其二人调解，汤玉麟同意接受宋哲元29军改编，并出任29军总参议。国民政府得知汤玉麟接受改编，查知其并没有投敌之举，又主动放弃军权，为了鼓励其部抗日，洗刷他的不白之冤；12月27日民国政府撤销了对汤玉麟的通缉。
民国23年（1934年）5月中央军委会礼聘汤玉麟为军委会北平军分会高级顾问，汤玉麟的复出遭到国人的反对；同年底汤玉麟被迫宣布辞职携家眷隐于天津租界的别墅。汤玉麟旧部在抗日战争中，参加了宋哲元领导的29军抗日，打出了威风，一雪热河之耻；而其部炮兵总监耿继周与营长李芳廷都成为抗日义勇军名将，各率一军在白山黑水间给日寇以重创。
汤玉麟在抗日战争其间多次拒绝出任伪职，度过了一生中最为平静的岁月。解放战争时为了安全，汤玉麟曾搬到花园路3号居住。1949年2月病死于天津，终年78岁。
1928年12月29日东北易帜后，汤玉麟任东北政务委员会委员、热河省主席兼中国国民革命军36师师长。在主政热河的6年里，汤玉麟任人唯亲：大儿子汤佐荣为热河省禁烟局局长，二儿子汤佐辅为热河省财政厅厅长；三弟汤玉山当上了58团团长，四弟汤玉铭当上了炮兵旅长，五弟汤玉书当上了骑兵旅长，侄儿汤保福当上了工兵营长，就连汤玉麟的大舅子夏维士也当上了辎重营营长！热河省俨然变成了汤家军的独立王国。
可惜好景不长，1933年日军大举进攻热河，汤玉麟弃守热河，调用大量军车搬运私产，逃至滦平，致使日军不到10天即占领承德！为此国民政府明令通缉汤玉麟。
