;祖逖坐镇关中，用离间计令张铧诛杀张绦，让张荥生疑之下，以并州兵进犯为由，返回云中国。失去精锐的云中义从，张铧独臂难支，遂遁走陇右。
天寿二十二年（304年），在张寔的支持下，祖逖率精兵五万翻越陇山征讨张铧，刘琨率精兵三万征讨云中王张荥。
因天水郡守姜洮拒城不降，令祖逖轻易进入陇右。经祖逖长达一年的作战，将张铧驱逐出陇右，率兵远逃至河湟。
恰时，张寔驾崩于雒阳，太子张粲在太原继位。而叛军见形势不利，内部陷入纷争之中，张铧之弟张檀杀张铧，向张粲乞降；张荥被刘琨击败并斩杀，子张肜上疏求降。
张粲急于平定天下，本欲同意张檀、张肜二人请求，但祖逖却上疏反驳，言‘贼寇不亡，则西北动荡；西北不服，西都难平’。张粲采纳祖逖之计，下令二将继续征讨。
永和元年（305年），祖逖深入西海，诛杀张檀，降服从叛诸夷；刘琨离间从叛鲜卑，破擒张肜，安抚河朔近塞诸胡。
三王叛乱虽被镇压，但长达五年的混战，让关西经济凋敝，人口死伤颇多，中央权威受到挑战，唐朝盛世一去不复返。
张粲性情宽厚，自诩以撤藩改郡之失为鉴，不断怀柔边藩诸侯，以避免引起新的叛乱。且为了安稳叛乱边国，除云中国直属中央，灵武、西平仍由子侄为藩统治。然因行事宽和，纵容宰相擅权，虽一定程度上恢复了中央秩序，但未能中兴唐朝。
永和十五年（320年），张粲患病垂危，皇后杨氏专权，与其弟杨珧交通内外，树立党羽，借张粲之名改易公卿，任用心腹。张粲临终前，担忧杨氏为乱，欲以魏国公祖逖、幽国公刘琨，与杨珧共辅太子。
杨珧截藏诏书，欲独领顾命之托，另企图立张粲幼子为帝。然中书郎谢裒偷取诏书，私传于祖逖、刘琨二人。二人说服太子张亮起兵，出其不意诛杀杨珧，尽灭杨氏一族。
同年，张粲驾崩于长安，以大司马祖逖领衔，计相刘琨辅政。
在祖逖尽心辅政下，唐朝渐有中兴气象，史称‘大康中兴’。其朝野井然，政治可观，拣选良吏，兴修水利，打击豪强，整顿兵事。并花费数年检索户籍，大大改善了国家的财政状况。
祖逖辅政十年，令天下大有改观。中书令谢裒盛赞，‘自天下粗安以来，藩国诸侯多跋扈，凡有所求，朝廷常委曲从之。然自祖公辅相以来，藩国畏服，赋税任取’。
大康十年（321年），祖逖在任病逝，与刘琨共列紫勋阁，以记二公中兴之功。
祖逖病逝之后，张亮自理国政，虽非英明之君，亦非昏庸之君。在位五年，传位于太子张田嗣。
张田嗣不理朝政，沉迷享乐之中，朝事荒废，权归计相王导。王导怀柔群下，不喜理事，受世人所讥，王导自叹‘人言我愦愦，后人当思此愦愦。’
张田嗣在位三年，纵欲而亡，王导以国舅而辅太子张煜。因恐为王莽流言，愈发不问朝政。王敦好大喜功，远征漠北无果，仍居高位。子弟借王导之名而作恶者众，王导知而不罚，自娱书法，常自比钟繇。
