公元979年（太平兴国四年）五月，北宋灭亡北汉后，宋辽直接对峙。双方接触线大体东起泥姑口（天津大沽口），西沿拒马河流域的信安军（河北霸县东）、霸州、容城（河北定兴东南），然后折向西北至飞狐（河北涞源北）及灵丘（山西灵丘）以南，直达代州雁门（山西代县北）。此线以北为辽控制的幽云地区。当时习惯把幽云十六州中位于太行山北麓东南的檀、顺、蓟、幽、涿、莫、瀛7州称为“山前”，把太行山西北的儒、妫、武、新、云、朔、寰、应、代9州称为“山后”。辽对这一地区特别是幽州十分重视，除派大丞相、南京留守韩德让和大将耶律斜珍率兵防守幽州外，还在隋唐蓟城的基础上对幽州进行大规模的扩建，从而使幽州城成为方圆36里，城高3丈、宽1.5丈，人口30万的陪都和军事、政治重镇。宋军在消灭北汉时，在太原集结了数十万部队，并在白马岭之战中击退了支援北汉的辽军。赵光义企图乘战胜的余威，一举夺取幽云地区。
北汉刘继元已降，宋太宗还师至镇州即转兵北上。但是破太原尚未赏三军，诸军兵将多不愿行，只是无人敢说。只有殿前都虞侯崔翰赞成乘胜北征，“所当乘者，势也；不可失者，时也。乘此破竹之势，取之甚易”。赵光义听此言遂了他的意，很高兴，当即下令枢密使曹彬调发各地屯兵。当时宋军诸将，大多数比赵光义冷静得多，他们以大军云集，粮储不及为请。赵光义却兵来将挡，下诏发京东、河北诸州军储，限期转运至镇州北面行营以备供应。当时扈从六军，有没有按时到达指定地点集结的，赵光义大怒，要按军法处置，被臣下谏阻。
而当时辽对燕地的防守其实早有部署。三月，在宋军进攻北汉，韩侼、耶律善布、耶律沙等救援北汉时，辽已增派北院大王耶律奚底（又译“耶律希达”）、将领萧讨古和乙室王撒合（伊实王萨哈）等，率兵戍守燕地，说明其早已考虑到宋军可能的进攻了。辽在幽州经常屯驻的汉兵，有神武、控鹤、羽林、骁武等军，共约一万八千余骑；又有其所属将帅契丹、九女、奚、南北皮室当值舍利一千九百五十。若契丹大举南侵，则一般调集东京（辽阳府）、中京（大定府）诸路兵，兵力可达二十余万。
五月二十日，宋军从太原分路东进，翻越太行山，二十九日抵镇州（河北正定），进入河北平原。六月初七，赵光义调发京东、河北诸州的武器装备和粮秣运往前线。
六月十三日，宋太宗赵光义自镇州出发，十九日次金台屯，募民百人为向导，二十日至东易州（时宋辽各置一易州，西属宋，东属辽）之西，过拒马河入辽境。辽易州刺史刘宇，涿州判官刘厚德相继献易州、涿州投降宋军。宋军推进很快。六月二十三日，赵光义大军至幽州城南，驻跸宝光寺。当时辽南京（宋称幽州，辽为南京析津府所在）守将为权知南京留守事韩德让以及权知南京马步军都指挥使耶律学古。另有辽北院大王耶律奚底与统军使萧讨古等军在城北屯扎。宋军先锋东西班指挥使傅潜、孔守正巡哨城北，在沙河遇到辽军，马上以先至的兵马与之交战，后军不久到达，而后诸军齐集，大败奚底、讨古及乙室王撒合军，斩获甚众，生擒五百余人。辽南院大王耶律斜轸（又译“色珍”）屯兵得胜口（河北昌平天寿山西北），看宋军锐气正盛，不敢与之直接冲突，便趁着耶律奚底新败，在得胜口用青帜伪作收容溃军之状以诱敌。赵光义得到探马报告，便有轻敌之心，麾军继续攻击，宋军将士乘胜追击，斩首千余级。而斜轸抓住机会突然袭击宋军后方，宋军败退，与斜轸军对峙于清沙河（北京城北二十里）北。辽南京城内守军得此声援，固守之志更加坚定。六月二十五日，宋军看出耶律斜轸兵力不足，只是据险而守，仅能声援幽州之敌，便只留一部兵力与之对峙，而用大军围攻幽州城。定国节度使宋偓与尚食使侯昭愿，领兵万余攻城东南面；河阳节度使崔彦进与内供奉官江守钧，率兵万余攻西北面；彰信节度使刘遇率军攻东北面；定武节度使孟玄喆攻西南面。并以潘美知幽州行府事。耶律斜轸部将渤海帅达兰罕率部降宋，赵光义以其为渤海都指挥使。自此，城外宋军对守城辽军多方招降，使城中人怀二心，后又有其铁林都指挥使李扎卢存等率所部出降。原在城外的辽御盏郎君耶律学古入城增守，与韩德让等共谋守御，安定反侧，守军才安下心来守城。
六月二十六日，赵光义由城南宝光寺至城北，亲督众将进兵，攻击清沙河辽军，大战一日，杀敌甚众，获马三百余匹，辽军稍却，仍然凭借险要坚守。三十日赵光义又督军攻城，宋军三百人乘夜登城，被耶律学古力战所擒，后又发现并堵塞了宋军挖的隧道，修守备待援兵。而当时，辽南京被围，远近震动，辽顺州守将刘廷素、蓟州守将刘守恩相继率部降宋。
辽景宗耶律贤于六月三十日闻知南京被围，耶律奚底、萧讨古、耶律斜轸等军虽未大败，却不能进援，只能声援，于是急遣南府宰相耶律沙率兵往救，其特里兖（官名）耶律休哥（又译休格）自荐请缨，辽主便以休哥代替奚底，统帅五院军之精锐驰赴前线。
宋军围攻幽州坚城不下，“将士多怠”，士气低落。
七月初六，耶律沙大军至幽州，赵光义督诸路军攻击，两军战于高梁，耶律沙力战不支而败退。然而当时的宋军连续近二十日不停地猛攻幽州城，士卒早已疲殆，故而虽然战胜，从中午到傍晚只追了十余里。令赵光义始料未及的是，耶律休哥率军出其不意间道而来，人人手持火炬直冲，宋军不知其多寡，未等接战心里已经发怵，故不敢接战，欲据高梁河为抵御之计。耶律休哥先收容耶律沙败军，使之回去再战，与宋军相持，然后与耶律斜轸各自统帅精锐骑兵，从耶律沙的左右翼挺进，乘夜夹攻宋军，实行两翼包围钳击之势。战斗激烈非常，耶律休哥身先士卒，身被三创犹力战。城中耶律学古闻援军已至，也开门列阵，四面鸣鼓，城中居民大呼，响声震天动地。耶律休哥继续率部猛攻，这时宋军才发觉已被包围，又无法抵抗辽军的猛攻，只能纷纷后退。耶律沙从后面追击，而休哥与斜轸两军也对宋军实行超越追击。宋军大败，死者万余人，连夜南退，争道奔走，溃不成军，赵光义与诸将走散，诸将也找不到各自的部下军士。赵光义的近臣见形势危急，慌忙之中找了一辆驴车请赵光义乘坐，急速南逃。耶律休哥时已受重伤，昏死过去，不能骑马，左右用轻车载着他，代他发号施令，继续追击。一直追到涿州城下，获得兵器、符印、粮草、货币不可胜计。
赵光义于七月初七日天明之后，已先到达涿州城外，当时宋军的败兵还没到。他又绕过涿州城，直奔金台屯，见诸军尚未到达，才敢停住“车驾”观望。初九日，赵光义见诸军仍然未到，便使人往探，这才知道诸军仍在据守涿州，而且有策划立太祖子武功郡王德昭的事，于是急命崔翰往传诏命班师。
赵光义为防备契丹乘胜南侵，命殿前都虞侯崔翰与定武节度使孟玄喆屯兵定州，河阳节度使崔彦进屯兵关南，云州观察使刘廷翰为都钤辖与彰德节度使李汉琼屯兵镇州，以上诸军都由刘廷翰指挥并得便宜行事。本来这样就可以了，可赵光义偏偏又授诸将阵图，命令他们，如果契丹来犯，必须入图布阵，交代完之后，他才自金台屯南返，七月二十八日还至东京。
八月初二，赵光义行从征失律之罚，贬西京留守石守信为崇信军节度使，彰信军节度使刘遇为宿州观察使。同时因为北征不利，连平太原之赏也免了。当时很多人认为这样不行，皇子（赵匡胤之子，当时亦称“皇子”而不称“皇侄”）武功郡王赵德昭就上谏道：“当先行太原之赏，再行幽州失律之罚。”宋太宗当时大怒，想起诸将在找不到自己时曾有意立他为帝，说：“待汝自为天子，赏未晚也！”德昭被逼无以自明，退回私舍之后拔剑自刎。
辽军既胜，亦行赏罚。以权知南京留守事韩德让，权南京马步军都指挥使耶律学古，知三司事刘弘，能安人心卫城池，并赐诏褒奖。以此前辽军在白马岭之战的失败责耶律沙，又以此次击败宋军之功相抵。耶律奚底遇敌而退，以剑背击之。乙室王撒合虽临阵退却，但部伍不乱，得到宽宥。冀王耶律敌烈（或译“迪里”、“塔尔”）战死白马岭，其麾下先逃遁者皆斩，都监以下杖背。然后聚宴诸将士，分别给予赏赐。
宋太宗一直是首都市长，长于行政，短于军事。想要凭借灭北汉的余威一举收复燕云故地，重建中国北方的国防线，并进一步恢复中原政权领导四夷的地位，这种进取心无可非议是好的。然而好的动机并不一定带来好的结果，宋军在高梁河以惨败收场可不是时运不济那么简单。
赵光义被攻克太原的胜利冲昏了头脑，对辽军的实力及其拥有大量骑兵的情况估计不足，在部队疲困交加的形势下，仓促出兵，企图以突然的行动、优势的兵力数量，一举袭取幽州地区。这种轻率鲁莽、侥幸取胜的投机举动，最后遭到失败乃是情理中事。
从作战指导上看，宋军移师幽州，仅是一个方向的进攻，既未从幽州北面出兵配合，牵制辽军，又未控制一定的预备兵力。一开始便将主要兵力投入战斗，企图速战速决，一举成功，以致一遇挫折，便无力挽救。其次是对幽州城的防御力量估计不足。幽州是辽的战略要地，辽必以重兵守城。宋军远程急进，无攻坚准备，以致顿兵坚城，陷入师劳兵疲的困境。
最后是缺乏打援部署。幽州既为辽战略要地，在受到围攻时，辽兵必以重兵增援。但赵光义心高气傲，未作任何阻援部署，只顾倾全力攻城，致为辽援军拊击，导致全军溃败。反观辽军，虽在宋军突袭初期遭到一些挫折，但能采取一些有效措施，固守待援，为调集援兵赢得了时间。在援兵到达后，又成功地运用两翼包围的战法，发挥骑兵的长处，乘耶律沙拖住宋军并使宋军遭到一定程度削弱时，突然投入战斗，终于扭转战局，取得了解围幽州，大挫宋军的胜利。
高粱河一役作为辽宋关系的重要转折点直接造成了日后的宋连战连败，到澶渊之盟，至此宋对辽已然完全处于下风，并直接对其经济造成极大的影响。辽成为一个威压北宋，雄踞中国北方的庞大帝国一直到被金所取代。高粱河一战影响深远。
军事史学者曾瑞龙评价此战说：“从十世纪军事的发展大势来看，高粱河战役尽管发生在宋初，却是最后一场‘五代’的战役。作为其指导思想的战略奇袭，大纵深突破的战役法，以及继之以皇帝直接指挥的战术决战，都具有浓厚的五代色彩。可是宋辽两军在高粱河畔恶斗的结果，也正式宣告了五代的战争已成历史陈迹。以上曾经在藩镇及地方政权之间，中央和叛将之间的战争中屡试不爽的作战手段，如今被用来对付辽这个政治军事上都相对稳定的大国。虽然这些作战手段在早期也收到相当效果，但情况不同的是：辽朝广阔的国土，为抵消宋军早期的强大攻势提供了足够的回旋余地，而其强大的增援能力也足以挑战，及重夺宋军的战役主导权。最后，耶律休哥一个令人瞠目的侧击，使宋军不知所错。因此宋军将士纵有很多优秀表现，这个败局的铸成亦非偶然。总之，从宏观角度看，高粱河体现了战争形式的新陈代谢。”
