乾隆十年(1745年)四月,鄂尔泰病故,讷亲取代了他。虽然张廷玉面奏内阁班次应讷亲居首,但其心中亦有难言之隐。为了平衡各种因素,乾隆下旨,确定“嗣后内阁行走列名,讷亲在前;吏部行走列名,张廷玉在前”。乾隆十三年(1748年)正月,张廷玉以老病为由,上书辞职。乾隆帝专特降谕旨:“卿受两朝厚恩,且奉皇考遗命,将来配享太庙。岂有从祀元臣归田终老之理?”宣谕慰留,让他不必担心,只管在京养病述职。
康熙四十三年,入值南书房,康熙关心张英的现状,张廷玉还做了两首七言律诗,康熙很高兴,赏张廷玉数珠,著四品官服色,张廷玉就一直跟着康熙帝,夏天到热河避暑,秋天就到边塞打猎,可见康熙帝对其十分的常识。
康熙五十五年,担任内阁学士兼礼部侍郎。康熙五十七年,担任《省方盛典》副总裁官。康熙五十九年,担任刑部左侍郎。康熙六十年,担任吏部左侍郎。
张廷玉是三朝元老。他在康熙年间入仕,虽也得到了提拔,但真正大放异彩的是,是雍正登基后,选张廷玉作为辅佐他筹划军国大政的主要助手,得到雍正帝的各种重用,在雍正帝临终的时候,还让庄亲王允禄、果亲王允礼、大学士鄂尔泰、张廷玉辅政,并且颁下遗诏他日以张廷玉配享太庙。
雍正称张廷玉是父皇为我留下的股肱之臣,爱之极深。由于张廷玉功绩得到了雍正皇帝的极大认可,雍正驾崩之时立下遗诏让张廷玉配享太庙,永远享受皇家香火的供奉,让世人都记住他的功绩。
由于太庙是皇帝一家直系的专门祭祀场所,所以一般只有皇帝的先辈可享此殊荣。一般的皇亲还不行,必须是近亲或有功于江山社稷的皇亲,还有有大功于社稷的臣子,经皇帝允许也可在死后享用太庙的待遇,这些臣子死后将是以郡王之礼厚葬。