汉将王恢策划的马邑诱敌深入计划，以失败而告终，王恢的一片爱国之情化为泡影。出了事件总要有人负责任，为了向天下人有个交待，只好忍痛割爱，杀了王恢。从此以后，匈奴断绝了与汉朝的和亲关系，不断进攻汉朝边境，抢掠边民的牲畜、财物，无法计算。汉武帝忧心忡忡。
为了拢络匈奴，汉武帝没有关闭互通关市。匈奴人喜好汉朝的物品，互通关市，可以在关市中购买得到，这样可以减少匈奴人侵扰汉朝边境的次数。
对于匈奴骑兵没完没了的攻击汉朝边境，汉武帝忍无可忍，决定出兵反击，给匈奴以重创。马邑事件后第五年秋天，汉武帝派卫青、公孙敖、李广、公孙贺各率一万骑兵，在关市附近攻打匈奴。
将军卫青率兵从上谷郡出发，到达龙城，俘虏了匈奴七百多人。公孙贺率军出云中，没有遇到匈奴骑兵，自然是一无所获。公孙敖出兵代郡，遇到了强大的匈奴骑兵的围追堵截，公孙敖拼死冲杀，只突围出三千人，损失了七千余人。李广出兵雁门郡，也遇到了强大的匈奴骑兵，全军覆没，李广被活捉。李广趁敌不备，又只身逃了回来。
李广与公孙敖因损兵折将，被判下狱。两个人交了赎金被免罪，才出狱，但已被贬为平民。这次汉朝的主动出击，败多胜少，没有达到预期的目的。
李广被贬为平民，闲居在家数年，和已故颖阴侯灌婴的孙子灌强一起隐居在蓝田，常到南山打猎。一天夜里，他带着一名随从骑马外出，和朋友在郊外饮酒，回来有些晚了，在经过霸陵亭时，霸陵尉喝醉了，大声呵斥，不让李广通过。李广的随从说：这是前任李将军。
霸陵尉说：现任将军尚且不许通过，何况是前任呢！
便扣留了李广，让他停宿在霸陵亭下。李广非常生气，又没有办法，只好听霸陵尉摆布。
没过多久，匈奴入侵汉朝边境，杀死了辽西太守，打败了韩安国将军，韩安国被调离右北平。汉武帝又想起了李广，便任命李广为右北平太守。李广当即请求派霸陵尉一起前往，到了前线，李广便找个理由，把霸陵尉杀了。这时霸陵尉才知道，他得罪了他惹不起的人，并为此丧命，一点活机会都没有了。
李广驻守右北平，匈奴听说后，称他为汉朝的飞将军，一连几年都躲着他，不敢入侵右北平。
这年冬天，匈奴再次入侵汉朝边境，抢掠边民钱物。渔阳受害尤其严重。朝廷派将军韩安国驻守渔阳，以防备匈奴再次入侵。第二年，匈奴单于率两万骑兵，入侵汉朝边境，杀了辽西太守，并掳走两千余人。
当车骑将军卫青率兵前来救援时，匈奴已从雁门郡逃走了。将军韩安国驻守渔阳，他抓到匈奴的一个俘虏，俘虏交待匈奴的大部队已退回本土了。
韩安国得到这个消息，立即上书给皇帝说：现在正是农耕时节，匈奴已经逃回本土，请求暂且撤回来屯驻的军队，待春耕结束，再回来驻守也不迟。
屯驻的军队刚刚撤离一个月，匈奴又大举进攻上谷、渔阳。韩安国收集情报不够准确，撤回去了的军队没有回来，留守在军营中的将士只有七百人左右，无法与匈奴的骑兵作战，只好撤回军营等待援军。匈奴趁机掳走一千多人及牲畜离去。
汉武帝知道了这件事，大怒，派使者责备韩安国。把韩安国调离渔阳，屯军在右北平。从此韩安国走了下坡路，一些年轻的将领得到了新宠，受到了汉武帝的重用。而韩安国渐渐被排斥疏远了，还被贬了官。
当初韩安国得到的消息是匈奴撤回了大本营，才上书皇帝撤军回家春耕，没想到匈奴骑兵没有撤回大本营，而是去攻打雁门郡，得手后又来攻打渔阳。太守韩安国率军迎战匈奴，战败便撤回渔阳城里。匈奴骑兵把渔阳团团围住。正在生死存亡之际，燕王的救兵赶到，匈奴这才撤去，又掠走一千余人及牲畜。
朝廷再派卫青率三万骑兵，出兵雁门关，李息出兵代郡，同时攻打匈奴，杀死俘虏了数千匈奴。第二年，卫青又出兵云中郡，并攻占西边及陇西一带，在黄河以南大破匈奴所
