1933年3月，宋哲元率领的第二十九军“大刀队”在喜峰口与日军展开白刃格斗，鬼子横尸遍野，第一次尝到了大刀的厉害。二十九军的胜利和大刀队的英雄事迹顿时传遍全国，极大地鼓舞了全国军民的抗日热情。
年仅23岁的作曲家麦新受到大刀队英勇事迹的感染，一气呵成谱写了《大刀进行曲》的词曲。
歌曲采用明朗的大调，表现了华夏民族不屈不挠且敢于血战到底的可贵精神。歌曲第一句开门见山点出主题，喊出了中国人民对的无比日本帝国主义愤慨和英勇斗争精神。歌词不到10句，可谓短小精悍。曲调非常简洁、流畅、口语化，节奏铿锵有力，易学易唱。
这首《大刀进行曲》没有过分地追求歌词的文学性，而以近乎口号式的呐喊，给人以巨大的震撼力。“大刀向鬼子们的头上砍去”一句作为首句，其居高临下的意味，勇猛之气、杀伐之声使敌人不寒而栗；作为尾句则显得干脆利落，不仅与首句相呼应，而且给人一挥而就、如同切瓜砍菜的快感。“抗战的一天来到了”和“把他消灭”两句被重复，作为一种强调的处理，具有强烈的艺术表现力。前者似乎是一个警句，向全国军民发出战斗的号召，后者则表达了中华民族英勇抗战、不达目的誓不罢休的决心。歌词中“冲啊！”和“杀”的呼喊，也恰到好处，恰如其分，使这首军歌的战斗精神得以最大程度的释放。《大刀进行曲》的旋律也不无精彩之处。例如，歌曲开始处的同音反复和“大刀向”三字上的逆分节奏，从容不迫，果断有力，如同战斗的号角，催人奋进，震撼人心，也像是挥舞的大刀，锋利无比，寒光闪闪。
《大刀进行曲》在中国人民最需要的时候出现，是一首诞生在中华民族奋起抗击日本侵略者炮火声中的时代战歌，激发了中华儿女的爱国豪情。成千上万青壮年唱着这支歌参军入伍，走向抗日前线。上海沦陷后，手无寸铁的学生面对日本宪兵，高唱“大刀向鬼子们的头上砍去”，走向街头发起募捐，为前方将士赶制大刀。在台儿庄，中国军队与日军展开血战，硝烟弥漫的战场上不时传来《大刀进行曲》的雄壮歌声。这首歌不仅伴随了8年抗日战争，而且奠定了抗日歌曲特有的凝聚苦难与力量的雄浑风格。它与《黄河大合唱》、《义勇军进行曲》等抗战名曲一起，形成了最典型的时代强音和民族精神的象征。
《大刀进行曲》还被翻译成多种文字，产生了国际性影响。当时，世界反法西斯阵线42个国家曾在巴黎举行反法西斯大会，音乐家任光指挥旅欧华侨在会上演唱《大刀进行曲》、《牺牲到最后关头》（麦新词、孟波曲）等救亡歌曲，激越澎湃的旋律引起各国代表的强烈共鸣。他们说：“中国的现代歌声蕴藏着中国的无限希望，也增强了世界反法西斯的必胜信心。”
2015年8月26日，国家新闻出版广电总局发布了“我最喜爱的十大抗战歌曲”网络投票结果，《大刀进行曲》是入选的10首歌曲之一。
