在“衣冠南渡”后期,汉人正统的东晋政权偏居江南,北方已被后赵、前燕等胡人政权牢牢占据。然而北方并未完全沦陷,此时的中国西北,张氏汉人固守的前凉政权成为当时汉人在北方唯一的避难所。公元301年,张轨出任凉州刺史兼护羌校尉,大筑姑臧城(今甘肃武威)。延用当地有才干的人共同治理凉州,课农桑、立学校,阻击入侵的鲜卑部,保境安民,抚定地方,多所建树。314年西晋灭亡;317年3月,司马睿于建康称晋王改元建武,张氏世守凉州,长期沿用晋愍帝司马邺的建兴年号,向东晋俯首称臣。
与在历史上仅存在2年的冉魏政权不同,虽然前凉存在的时间也不是很长,但是实打实的大国。一方面,史载,当时中原和关中地区数百万汉人流入凉州避难时,前凉统治者以积极的态度迎接安置,并于姑臧西北设置武兴郡,又分西平郡(今青海西宁市)界置晋兴郡以收容流民。据《晋书·张轨传》记载,中原士人都认为“天下方乱,避难之国唯凉土耳”。另一方面,前凉也积极抗拒胡人侵犯,前后与前赵、后赵发动过战争,并多次挫败刘曜、石虎企图灭掉前凉的企图。在张骏、张重华父子统治时期,前凉达到鼎盛时期。前凉控制的势力范围覆盖如今甘肃、新疆、内蒙古、青海各一部。史料记载,其疆域“南逾河、湟,东至秦、陇,西包葱岭,北暨居延”。
与冉闵不同,前凉政权存在的大部分时间里,统治者都没有称帝,只是以凉王自居。但在对待胡人方面,前凉毫不手软。前凉针对胡人的打击行动,使当时入侵中原的胡人总人口减少近十分之一,但与冉闵彻底的报复不同,前凉政权目的是奴役或消灭鲜卑等少数民族贵族阶层,但反过来却安抚其百姓。在战争年代,这种软硬兼施的手段更容易让百姓真心依附。另外,前凉对胡人的战略明确,有效地避免了无谓的杀害;而冉闵在与后赵的战争中,实际上误伤了不少汉人。
公元376年,前秦主苻坚以步骑十三万大举进攻,前凉末代皇帝张天锡被迫出降,前凉灭亡。
可以这样说,虽然冉闵与其冉魏政权存在时间短,冉闵本人也多被后世诟病“有勇无谋,人品差,节操碎一地”,身为主将却不采纳正确战法以致全军覆没,甚至还对东晋发动过战争,但他激起的民族反抗精神在中国历史上的地位举足轻重。而低调的前凉则收纳了数以百万计的汉族难民,同时保留了北方精英阶层实力,在后来汉人夺回中原统治权的过程中,起到了无可替代的作用。他们功绩应当同样地被历史铭记,为后人缅怀。