sp; 危难之中，张虞受众人推举为帅。张虞调度兵马，坚守营垒，杀伤匈奴众多。匈奴受挫而退，张虞趁势出击，雨夜大破匈奴，斩单于首级。汉灵帝大为欣赏，拜张虞为西园校尉，与曹操、袁绍、赵融等并列。
中平六年，豫州黄巾叛乱，州兵不能平，张虞率兵讨平。
同年汉灵帝驾崩，雒阳政治动荡。何进招揽董卓进京，欲杀宦官以肃清朝政。而宦官抢先发难，诛杀何进，后又被袁绍、袁术所诛。
先时，张虞深知雒阳非久留之所，遂以讨贼之名，前往上党征讨白波兵。
果然，董卓入京，执掌朝政，把汉少帝废为弘农王，而改立其弟陈留王刘协，即汉献帝；又派人把弘农王母子毒死，自称太师，专擅朝政。张虞见董卓倒行逆施，明顺而暗违，不愿从其政令。
与此同时，袁术、袁术、曹操等关东士人不满董卓所为，倡义兵号召天下英雄讨伐董卓。
初平元年（190年）正月，后将军袁术，冀州牧韩馥、豫州刺史孔伷、兖州刺史刘岱、河内太守王匡、渤海太守袁绍、陈留太守张邈、东郡太守桥瑁、山阳太守袁遗、济北相鲍信等人一同举兵于关东，袁绍被众人推为盟主，屯兵于河内。
关东联军遣使者游说张虞起兵，张虞虽不满董卓倒行逆施，却也不愿见天下崩裂，遂以‘董卓忤逆专政，人人得而诛之。然卿应盟伐之，与叛乱何异？乱天下者，必袁氏兄弟矣！’驳之。使者羞愧而走，袁绍怒而恨之。
时并州贼乱四起，上党太守被贼劫杀，众迎张虞入上党。张虞以上党为基，以“清除贼乱，保境安民”为口号，招揽并州志士，与天下英豪。郭图、钟繇、辛毗先后来投。
天下大乱之时，白波贼欲与黑山军联合，欲掠上党东行。张虞率兵击之，约与匈奴单于呼厨泉为内应，遂大破白波贼，贼首郭泰被斩，徐晃、李乐归降，斩俘贼民五万余众，遂威震并州。
五月，上党遭遇蝗灾，张虞向太原求粮，太原郡守李峻拒予粮草，并封锁关隘。郡中寡粮，加上白波降虏数万，为取粮草以济上党，张虞领兵伐太原。
初平二年（191年），张虞受封为都督并州诸军事，定襄、雁门、西河三郡郡守受张虞节制。
五月十日，张虞受幽州牧刘虞相邀，与公孙瓒共击冀州。时黑山贼来降，张虞表张燕为常山太守。
韩馥深畏张虞、公孙瓒二人，遂将冀州让于袁绍。袁绍遣使与张虞商谈，以河内换张虞息兵。时并州受贼纷乱，张虞遂应袁绍所求。
三年，公孙瓒兵败界桥，形势岌岌可危。张虞受幽州牧刘虞相邀，出兵以援公孙瓒。因忧公孙瓒独霸冀州，张虞欲说和公孙瓒、袁绍二人。
袁绍闻张虞来援，不敢轻举妄动。张虞设宴，邀公孙瓒、袁绍二人。
张虞对袁绍等人说：“昔贾复、寇恂争相危害，遇世祖解仇，遂和睦共处。今天下纷争，董卓把持朝政，袁君出身名门，岂能争先为害？虞性和，不好兵，愿以弓而止戈。”
恰逢大雁飞过上空，约定一箭而射中双雁
