司马昭当权时期,何曾调任尚书。正元年(255
-256)中,何曾出任镇北将军,都督河北诸军事,出征时,司马昭派儿子司马炎把他送出去几十里。足见司马氏对他的重视。司马昭被魏帝授予晋王位时,何曾与高柔、郑冲一起为三公。
公元265年,司马昭病死;司马炎继承了晋王位,何曾被任命为晋丞相,兼侍中。他与裴秀、王沈等多次劝司马炎称帝。不久,曹奂被迫下诏书说:“晋王,你家世代辅佐皇帝,功勋高过上天,上天要我把皇帝之位让给你,请顺应天命!”司马炎假意多次推让。何曾和贾充等人带领满朝文武官员再三劝谏。司马炎多次推让后,才接受魏帝曹奂禅让。
因为在废魏立晋的过程中,作为丞相的何曾起了重要作用,何曾被任为太尉直至太保兼司徒。爵位也由侯晋封为公。
晋朝建立之时,何曾已经年过花甲了;对朝廷的一再提拔,何曾心有感触触,他多次以自己老迈为由,执意辞让。为此,皇帝持意下诏表彰他:“太傅明朗高亮;执心弘毅,可谓旧德老成,国之宗臣也。”
武帝特命何曾在朝会之时,享受坐车,佩剑的特权,说是仿:“汉相萧何、田千秋、魏太傅钟繇故事”。何曾真可谓一人之下,万人之上。
帮助司马炎建立了晋朝,可是,何曾又开始为晋朝的长久统治不安了。新朝建立了,皇帝马炎不禁开始着摩浮华的生活。何曾作为皇帝器重的老臣,经常陪侍晋武帝饮宴。有一天,他国家后对儿子们说“皇上开创大业。理当流传久通。但是我陪他饮宴,从来没有听他谈过国家的大计划,只说日常琐事,恐怕他的子孙会很危险。事业止于本身而停滞,子孙堪优,你们还可以得以善终,”又指着孙子们说,“你们必定有灾祸临身。”
后来何曾的孙子何绥在“八王之乱”中被东海海王司马越杀害;何曾的另一个孙于何嵩哭看说:“我的祖父实在非常圣明啊!”看来,这位年迈的政治家的确很有远见。