卫青对匈奴的打击，还促成匈奴内部最高统治权的变更。军臣单于死后，左谷蠡王发动政变自立，此即伊稚斜单于。伊稚斜单于击破军臣单于的太子，迫使其逃亡汉朝。伊稚斜单于代表了匈奴内部与汉朝激烈对抗的势力，故汉朝和匈奴之间最激烈的战争基本上发生在伊稚斜单于统治时期。
元朔五年，汉军在卫青的率领下在匈奴右部开辟战场，匈奴右贤王仅与一爱妾及数百骑溃围北逃。凭此战之功，卫青进号大将军。次年，卫青两出定襄，与匈奴单于直接对战。正是在这一年，霍去病封侯。
霍去病是卫青另一个姐姐与霍仲孺所生之子，18岁时以皇后姐子身份任侍中，后在卫青军中为票姚校尉。在元朔六年的这场战争中，霍去病率轻骑脱离大军寻找战机，斩单于大父，俘季父、相国、当户，斩首及捕获2280人，进而被封为冠军侯。
元狩二年，霍去病成为骠骑将军，出陇西远征。汉军骁勇精锐将士皆配于霍去病，极大增强了长距离野战的能力。此役，霍去病所部过焉支山，往西达千余里，缴获匈奴休屠王祭天金人。同年夏天，霍去病又从北地出击，越过居延海，然后南下祁连山，继续打击匈奴右部。在汉军持续的打击下，匈奴内部发生分裂，浑邪王杀掉休屠王，率部归汉。汉朝将浑邪王、休屠王故地设为河西四郡：酒泉、武威、张掖、敦煌。为了巩固西线的胜利，还迁徙关东贫民72万，充实陇西、北地、西河、上郡。
汉朝获得河西四郡，对于中国历史而言意义重大。第一，河西四郡设置后，青藏高原上羌人和蒙古高原上匈奴人的联系被斩断了。第二，汉朝打开了通向西域的通道，汉朝烽燧一直往西北延伸。第三，河西地区由游牧社会转向农业社会，发展到魏晋南北朝时成为中华文明的重要文化中心，对北魏的汉化发挥了至关重要的作用。此外，匈奴也因失去河西地区而面临很大损失。一首流传下来的匈奴歌谣唱道：“失我祁连山，使我六畜不蕃息。失我焉支山，使我嫁妇无颜色。”
在击破匈奴右部后，单于所部的侧翼暴露在汉军面前。正是在这一背景下，汉武帝发动了元狩四年的北伐。伊稚斜单于获悉汉朝出兵的消息后，采纳降将赵信的建议，将精兵置于漠北，以逸待劳。卫青所部出塞千余里，与单于相遇。卫青以武刚车环绕结营，派出骑兵正面迎战；匈奴亦派出骑兵冲击汉军。此时，太阳隐没，大风刮起，两军陷于风沙中，汉军从左右两翼围困伊稚斜单于。单于看到汉兵多且强，便率数百骑突围向西北逃亡。黄昏时分，汉军与匈奴大战，双方损失惨重。另一边，霍去病出塞2000余里，攻击匈奴左部，俘获屯头王、韩王等三王以及将军、相国、当户、都尉83人，斩俘7万余人。
