斛律光少年时就精通骑马射箭，而以武艺闻名于世。北魏末年，跟随父亲斛律金西征，宇文泰（北周文帝）长史莫者晖这时正在行武中，斛律光看见后，骑在急驰的马上向他射箭，趁着射中的机会，将他活捉了过来，当时斛律光才十七岁。斛律光得到高欢（北齐神武帝）的嘉奖，擢升为都督。
高欢的长子高澄（北齐文襄帝）做王世子时，任命斛律光为亲信都督，不久升为征虏将军，累加卫将军。武定五年（547年），封永乐县子。
曾陪同高澄在洹桥狩猎，看见一只大鸟，正展翅高飞，斛律光拿起弓来，一箭就射了下来，而且是正中要害。这只鸟形状像车轮，旋转着掉了下来，一看是只大雕。高澄拿过雕来观看，将他夸赞了半天。丞相属邢子高感叹着说：“真正的射雕手。”当时人们都称他为“落雕都督”。不久兼任左卫将军，晋爵为伯。
武定八年（550年），高洋建立北齐后，斛律光加封开府仪同三司，另封西安县子。天保三年（552年），随从文宣帝的大军出塞，用兵库莫奚。斛律光为先锋，打败库莫奚军队，掳获甚多，并且夺得了一些其他的牲畜。回到京师邺城后，官加晋州刺史。
同北齐接壤的北周天柱、新安、牛头三戍之头目，经常招纳北齐的逃人，多次寇掠齐境。天保七年（556年），斛律光率五千步骑偷袭了他们。又大败北周的仪同王敬俊等，虏获五百多人、杂畜千余头后返归。天保九年（558年），又领兵夺取了北周的绛川、白马、浍交、翼城等四戍。任朔州刺史。
天保十年（559年），斛律光官拜特进、开府仪同三司。二月，统领万骑攻打北周的开府曹回公，并将其杀死。柏谷城主帅、仪同薛禹生弃城逃跑，于是斛律光就占领了文侯镇，立戍置栅后回京。乾明元年（560年），斛律光被封为并州刺史。
皇建元年（560年），晋爵巨鹿郡公。这时，乐陵王高百年为皇太子，孝昭帝高演认为斛律光家世代淳厚清谨，加之为皇室立有功勋，便纳其长女为太子妃。太宁元年（561年），官尚书右仆射，食中山郡干。太宁二年（562年），除太子太保。
河清二年（563年）四月，斛律光率二万步骑在轵关西部筑建勋掌城，又修造了二百多里的长城，设置了十三个戍。河清三年（564年）正月，北周派大将达奚成兴等来寇掠平阳（山西临汾西南），武成帝令斛律光率三万步骑抵抗，达奚成兴等听说是斛律光迎战，不战而退。斛律光乘机追击，追入周境，俘获周军二千余人而回。三月，迁任司徒。四月，率骑兵北讨突厥，获良马千余匹。
同年冬，北周武帝宇文邕派遣柱国、大司马尉迟迥、齐国公宇文宪、柱国庸国公可叱雄等，率兵十万攻打洛阳。斛律光率五万余骑急行军赶赴洛阳，两军在邙山（河南洛阳西）大战，尉迟迥等人大败。斛律光射杀了周将可叱雄，获首级三千多级，尉迟迥、宇文宪幸免一死，还缴获了所有的甲兵辎重，并将死尸堆成京观。武成帝高湛亲临洛阳，策勋颁赏，迁任斛律光为太尉，又封冠军县公。早几年高湛命纳斛律光第二女为太子妃，天统元年（565年），拜为皇后。同年，斛律光转为大将军。
天统三年（567年）六月，因父去世，斛律光辞官归家。同月，诏令斛律光及弟斛律羡官复原职，仍为前任。秋，除太保，袭爵咸阳王，并袭第一领民酋长，另封武德郡公，移食赵州干，迁太傅。
天统三年（567年）十二月，北周又围攻洛阳，阻断齐军粮道。武平元年（570年）正月，斛律光奉北齐后主高纬命率步骑三万讨伐，军至定陇，与在鹿卢交屯兵的周将张掖公宇文桀、中州刺史梁士彦、开府司水大夫梁景兴等相遇，斛律光披甲执锐，身先士卒，锋刃才交，大败宇文桀军，斩首两千多级。齐军长驱直下，直抵宜阳，与在这里防守的北周齐国公宇文宪、申国公拓跋显敬对峙百日。为了沟通宜阳道路，斛律光营筑了统关、丰化二城。
齐军返回时，驻扎安邺，宇文宪等率军五万追击。斛律光指挥骑兵回头猛击，宇文宪军大败，俘虏其开府宇文英、都督越勤世良、韩延等人，又斩首三百多级。宇文宪又令宇文桀、大将军中部公梁洛都与梁景兴、梁士彦等三万步骑在鹿卢交断路拦击。斛律光与韩贵孙、呼延族、王显等人合兵猛击，大获全胜，斩杀梁景兴，获马千匹。因军功被加封为右丞相、并州刺史。
同年冬，斛律光率步骑五万在玉壁营筑了华谷、龙门二城，与宇文宪、拓跋显敬相持，宇文宪不敢轻举妄动。斛律光趁机围攻定阳，又筑南汾城，置州设郡用来逼迫北周，胡、汉民众万余户前来归附。
武平二年（571年），斛律光率众筑平陇、卫壁、统戎等镇、戍十三所。北周柱国木包罕公普屯威、柱国韦孝宽率步骑万余进攻平陇，与斛律光战于汾水之北，斛律光大败周军，俘杀千余人。又封斛律光为中山郡公，增邑一千户。
军还，武成帝诏令斛律光率五万步骑沿平阳道进攻姚襄、白亭等城戍，都攻下了，俘虏城主、仪同、大都督等九人及数千士卒。又别封长乐郡公。是月，北周派其柱国纥干广略围攻宜阳，斛律光率五万步骑赶往援救，两军在城下大战，战败周军，夺取了北周建安等四戍，俘获周军千余人，凯旋而归。
大军还没有抵达邺城，敕令放散兵众，令归其家。斛律光认为兵士多立有军功，没有得到慰劳奖赏，如果放散，不施恩泽，就不能赢得民心，于是秘密上表请求派人宣旨。军卒仍然前进，朝廷迟迟不发使，军队行至紫陌，斛律光只好命令驻营等待。后主听到说斛律光军营已逼近都城的通报，很不高兴，急派舍人请斛律光入见，然后慰劳奖赏兵众，令其放散。拜斛律光左丞相，又别封清河郡公。
斛律光常在朝堂垂帘而坐。祖珽不知晓，骑马从其朝堂门口走过。斛律光见后大怒，对人说：“此人好大胆子！”后来祖珽在内省，高声大气地讲话，斛律光正好路过，听到后，又十分恼怒。
祖珽知斛律光忿恨，向斛律光的随从奴仆行贿，还打听说：“相王很恼怒我吧？”答：“自从公主事后，相王每夜抱膝长叹说，‘盲人入朝，国家一定破灭’！”穆提婆请求娶斛律光庶女为妻，斛律光不同意。
后主将晋阳田地赏给穆提婆，斛律光在朝上大声讲：“晋阳的田地，神武帝以来常种禾，饲马几千匹，以平寇难，如今赏赐给穆提婆，这不是破坏军务吗？”因此斛律光与祖珽、穆提婆二人有了怨仇。
斛律光一个女儿作了皇后，两个女儿是太子妃 ，子弟皆封侯作将，还娶了三位公主。他的弟弟斛律羡都督幽州刺史，在边境筑城设险，养马练兵，修水利、劝农耕，威震突厥。全家功高位显，门第极盛。因此，斛律光常为此担忧，怕惹来祸患，居家很严，生活节俭，不谋私利，杜绝贿赂，门无宾客，也不肯干预朝政。
北齐后主高纬是个昏庸无能的皇帝，他宠信祖珽、穆提婆等小人，政治黑暗腐败。斛律光非常讨厌这些人，说“目人用权，国必破矣”！引起了他们的忌恨和陷害。
武平三年（572年），北周将军韦孝宽为解决斛律光这个北齐的前线支柱，便制造谣言，编成儿歌，在邺城歌唱，歌曰：“百升飞上天，明月照长安（百升为一斛，明月是斛律光的字，谣言暗喻斛律光有篡位野心）。”又说：“高山不推自崩，槲树不扶自竖。”祖珽又乘机加了几句：“盲眼老公背上下大斧，饶舌老母不得语。”并让小儿在路上歌唱。穆提婆听唱后，告诉了自己的母亲陆令萱。陆令萱认为“饶舌”是指斥的自己；“盲老公”说的是祖珽。因而相与密谋，将歌谣向高纬启报，说：“斛律累世为朝廷大将，明月威震关西，丰乐威行突厥，女为皇后，男娶公主，谣言十分可怕。”高纬就此事询问韩长鸾，韩长鸾认为不必大惊小怪，事情也就此作罢。祖珽又在后主面前挑拨，当时高纬身旁只有何洪珍在。
高纬说：“前得你的报告，本打算施行的，却给长鸾制止了。”祖珽没有回答，何洪珍进言说：“如若无此意，还行；既然有此意，就应该施行，万一泄露出去，那就把事情闹大了。”高纬说：“洪珍的话讲得有理。”但还是犹豫未决。适逢丞相府佐封士让进密奏，奏称：“前时斛律光西征回京，陛下敕令放散兵卒，斛律光却令军卒进逼京师，欲行不轨，事情没有成功就停止了。再说，斛律光家藏有弩甲，拥有奴僮千多，常派人前往丰乐、武都等人家里，相互勾结。如不早点加以制止，任其发展，那就危险了。”恰好启奏上有“军卒进逼京师”之语，与高纬前些时日的怀疑相合，高纬便对何洪珍说：“人的想法有时很正确，我以前怀疑他有反叛之心，现在看来的确如此。”
高纬性格十分怯懦，担心事情会突然暴发，命令何洪珍快马召祖珽进宫。又害怕斛律光不从命。祖珽趁机进言：“正要召他，又怕他起疑心不肯来。应该派人赐给他一匹骏马，告诉他说‘明日准备前往东山游观，王可乘这匹马一同前往’，因此，斛律光一定要入宫致谢，这时就乘机把他抓起来。”高纬遵其言。不一会儿，斛律光来了，被人引进凉风堂，刘桃枝乘其不备，从后面偷袭，斛律光不倒，回头说：“你们常常干这样的事，但我到死也不干对不起国家和皇帝的事。”刘桃枝等人遂将其杀害，时年五十八岁。斛律光被杀后，高纬下诏说他谋反，现已伏法，其余家口不受株连。很快又发诏书，将斛律光家族满门抄斩。
斛律光没犯什么罪，却被朝廷处死，所以时人极其惋惜。周武帝宇文邕得到斛律光的死讯，十分欢喜，竟下令赦免其境内的罪犯。北周灭北齐后，追赠斛律光为上柱国、崇国公。宇文邕指着诏书说：“如果斛律光还活着的话，我哪能跑到邺城来？”
斛律光有勇武，善用谋，打仗特别用心，因此，率领北齐军队与北周接战二十余年，打了数百场仗，斛律光基本上都胜了。在周齐洛阳之战中，北周大司马尉迟迥、王雄等将领率十万大军围攻洛阳，斛律光率五万骑兵救援。他乘北周军队久攻洛阳不下的疲惫时期，集中兵力突击北周军队的中心大营，斛律光亲手射杀了王雄，捣毁了北周军队的指挥中心，敌军群龙无首，四散奔逃，斛律光驱骑兵纵杀，尉迟迥只身逃脱，其随从尽皆被杀。
天统五年（569年）十二月，北周军队再次大举进攻北齐，周军十余万围攻宜阳（今河南宜阳西北），断绝了北齐军队的粮道，宜阳北齐守军告急，朝廷调斛律光往救。他率步骑兵三万余人奔赴前线，乘周军防守疏松之际，突然向周军一部发起猛攻，北周军队被这突如其来的打击惊呆了，连忙解宜阳之围而去，北齐宜阳城得保，粮道又通。时隔不久，北周军队再次向北齐军队发起进攻，斛律光一反过去猛打猛冲的战术，向敌人示弱，预设埋伏，且战且退，把敌军引入伏击圈，然后一举包围北周军队，俘获北周开府仪同三司宇文英等将，几乎全歼北周进攻之军队。
武平二年（571年），北周名将，骠骑大将军韦孝宽率步骑兵万余人进攻北齐，斛律光奉命到子陇（今山西稷山西）等地筑垒拒敌。垒虽筑起，但斛律光不愿消极防守，而是采用以攻为守之策，与北周军队大战于汾水，经过激战，北齐军大胜，杀敌千余，俘虏数千，北周军队败逃而去，斛律光乘胜追击，为北齐拓地数百里。
行伍出身的斛律光在作战之中不惧死伤，但却非常重视士卒的生命。每次打仗之前，他按少数民族自己的方式预测吉凶，确认为凶多吉少时，他就不向敌人主动发起进攻，以减少士卒的伤亡。
斛律光身为将帅，却与士卒打成一片，全军的营寨没有扎好，他不入营塞休息；战士的饭没烧好，他绝不吃饭。战士受伤和生病，他亲自上前慰问。每次战争结束后，他都去吊唁死难的将士，把自己得到的奖赏，凡是能分配的，统统平均分配给死难者的家属。军中有犯罪者，斛律光常用的刑罚是打棍子，从不用砍头方式处置自己的士卒。在极度紧张的战争环境下，为了确保部队的安全，斛律光亲自巡营查哨，他常常终日不入帐，或终日不脱甲胄不坐下休息。斛律光以征战为事业，从无私心，不爱钱财，征战数十年，从无家私和隐财。
