本是袁绍的部将后归顺曹操，曹操见了他高兴，诸葛亮见了惧怕
曹操刚开始崛起的时候，手下有五子良将，陈寿写《三国志》魏书的时候将这五个人合传，叙述诸将生平事迹后评曰：“太祖建兹武功，而时之良将，五子为先”，这就是五子良将的来历，五子良将分别是前将军张辽、右将军乐进、左将军于禁、车骑将军张郃以及右将军徐晃。其中车骑将军张郃虽然名气没有特别大，但却是一个让诸葛亮和刘备都非常忌惮的人物。
张郃，字俊乂，是冀州河间郡鄚县人，东汉末年天下大乱，张郃应征参军镇压黄巾起义，被任命为军司马，张郃曾是韩馥的部属，后来韩馥让出冀州给袁绍，张郃也就归顺了袁绍，张郃是一名很不错的将军，但是当时袁绍手下也人才济济，而且袁绍非常的自大，对于张郃基本上是看不上的态度。
袁绍和曹操官渡之战的时候，曹操率军偷袭乌巢，乌巢是袁绍的粮草所在地，张郃说：“曹操的士兵骁勇善战，恐怕淳於琼不是曹操的对手，淳於琼一旦失败，那么将军的大业就完了，您应该尽快带兵援救。”但是谋士郭图有不同的看法，他给袁绍献出计策，那就是围魏救赵，进攻曹操的大营，曹操必然回援，袁绍采纳了郭图的计策，派张郃、高览带领着重兵攻打曹军大营，曹军大营的守将是曹洪，而且防守严密，张郃、高览攻打不下来，乌巢反倒被曹操偷袭得手。
郭图一看自己的计策失败，所以要转移注意力，就对袁绍告张郃的黑状：张郃听说我们失败以后非常高兴，并且出言不逊。张郃听说以后非常的害怕，担心回去袁绍会杀了自己，于是就投降了曹洪，此时的曹操还没有从乌巢回来，等到回营后，曹操听说张郃已经向曹洪投降，非常感到高兴，对张郃说：“如微子去殷，韩信归汉也”，并将张郃拜为偏将军，封为都亭侯。
自从归顺曹操以后，张郃不能说像开挂一样，但也算是找到了合适的地方，张郃长期都是副将的身份征战，先是跟随张辽定淮南，后又跟随夏侯渊平凉州，还跟随曹操夺汉中，屡建战功。
不过张郃在进军的时候，张飞击败，张飞那是一员猛将，被其击败也不丢人，张郃还是被任命荡寇将军。建安二十三年（218年），跟随夏侯渊在汉中定军山迎战刘备。
刘备率领1万多人猛攻汉中，但是却被作战勇猛的张郃挡住，刘备久攻不下，于是向益州求援，诸葛亮派了援兵，这才攻克了汉中，斩杀了夏侯渊，刘备听到夏侯渊被杀，还感叹了一句，要杀就杀张郃，杀了夏侯渊没有用，曹军群龙无首，于是众人推举张郃为代理主帅，率部安全撤退。后屯陈仓，张郃这才有了独当一面的机会。
而张郃让诸葛亮忌惮则是街亭之战，诸葛亮挥师北伐，曹叡派曹真迎战，曹叡把张郃从左将军升为右将军，马谡依傍险要的南山扎寨，没有下山占据城池。张郃断绝了他取水的道路，然后发起进攻，大败马谡。南安、天水、安定各郡反叛魏国响应诸葛亮，张郃领兵平定了这几处地方。
街亭之战以后，诸葛亮没有办法，只能撤军，这次的北伐无疾而终，陈寿对张郃的评价是：“郃识变量，善处营陈，料战势地形，无不如计，自诸葛亮皆惮之。”不过就是这样一员猛将，由于忠于曹氏，被司马懿视为眼中钉，在战斗中强迫张郃领兵追击蜀军，追至木门，中箭身亡，谥曰壮侯。