在《三国演义》中，刘备和诸葛亮最畏惧的魏将主要还是张郃
袁绍没有采纳张郃的意见，结果乌巢被破，绍军溃败。如果用张郃之计，后来形势必然两样。由此可以看出张郃谋略过人。他后来在曹操手下，攻城略地，四处征战多年。攻邺城、击袁谭、围雍奴，都大破敌手。讨柳城，他和张辽都是先锋，立下战功。征东莱、讨管承，他又和张辽一起讨陈兰、梅成等，都所向披靡，攻无不克。他还随曹操在渭南大破马超、韩遂，接着围安定、降杨秋，与夏侯渊讨鄜贼梁兴及武都氐，再破马超，平宋建。曹操征张鲁，先派张郃督领诸军讨平兴和氐人王窦茂。曹操从散关人汉中，又先派张郃率兵在前面打通道路。待张鲁投降，曹操便把张郃留下，和夏侯渊一起镇守汉中要地。
他只是在与刘备军交战时有过较大的失利。一次是著名的“八潆之战”，当他进军巴西八像山一线时，和张飞相持了五十多天以后，张飞用迂回战术，利用有利地形，切断前后联系，使他孤立无撾，终于把他打败。这次败得很惨，他只带了十几个人从小道逃回南郑。还有一次是太和五年（231）二月，诸葛亮再次出军围祁山。到六月，诸葛亮粮尽退军，司马懿让张郃去追。张郃说：“按照兵法，围城必开出路，归军勿追。”司马懿不听，张郃没办法只好前进。追到剑阁木门道，蜀军布下埋伏，居高临下，弓弩乱发。张邰不幸中箭而死。不过，即使和刘备、诸葛亮交战，张郃也表现出他出色的勇略将才。
建安二十三年（218），刘备进兵汉中，屯阳平关。徐晃在马鸣阁把刘备部将陈式等击破以后，刘备又把进攻的矛头指向张郃电守的广石。这时刘备势在必得，以精卒万余，分为十部，连夜急攻。张郃率领亲兵顽强搏战，竞使刘备军无法前进半步。次年，刘备自阳平南渡沔水，从定军山发起进攻。这一次不但把前去迎战的魏军打败，连魏军统帅夏侯渊也在短兵相接的战斗中阵亡。这时魏军新败，又失去元帅，还面对刘备军咄咄逼人的攻势，曹魏三军都惊惶失措。在这危急关头，张郃被部下推为元帅，他沉着冷静，勒兵安阵，才稳定了军心，使魏军免遭更大的损失。
张郃还指挥了著名的街亭之战。《三国演义》写了这次战役，但作者把这次战役魏军方面的指挥者写成是司马懿。其实，司马懿根本没有参加街亭之役，当时他正屯兵宛城，负责荆、豫二州的军事，连汉中前线也没来过。直接指挥攻打街亭的是张郃。张郃抓住街亭蜀军守将马谡舍水上山，不下据城的弱点，先断绝水源，使蜀军不战自乱，然后发起进攻，很快打败马谡，占领了街亭这个咽喉要地。而后，张郃又一举收复了已经归附诸葛亮的南安、天水、安定三郡，扭转了战局。因为张郃不是曹氏集团的嫡系，曹氏很少放心地把方面军权全部交给他，与刘备争夺汉中时，统帅是夏侯渊，街亭之役时，主帅是曹真。
然而，从刘备到诸葛亮，惧惮的魏将，主要还是张郃。《魏略》在记叙夏侯渊被杀时这样说：“渊虽为都督，刘备惮（张）郃而易渊。及杀渊，备曰：‘当得其魁，用此何为邪！”《三国志●张郃传》则这样说：“郃识变数，善处营陈，料战势地形，无不如计，自诸葛亮皆惮之。”了解这些也就可以知道，“八檬之战”中张飞大战张郃，为什么能使张飞威名大震。但是，《三国演义》写张郃败给蜀军写得多，对他英勇善战写得少，更没有一句提及从刘备到诸葛亮都惧惮他。这当然因为他是魏将的缘故。