但是刘邦的宠姬戚夫人利用高祖对她的宠爱,就想要劝说高祖将太子刘盈废除改立她所出的次子如意。一开始刘邦还不是很在意戚夫人的说法,但是听得久了逐渐觉得太子也没有他想象中的那么优秀,就想要换掉太子。
于是刘邦在一次朝会上公然宣布要改立太子,但是这个想法一经提出便遭到了满朝文武大臣的反对。因为反对的人数太多了,所以刘邦只好暂时将这个想法搁置一边。要说听到改立太子这个消息之后,最为着急的人就是太子的生母吕后了,她想着说不定哪天陛下心血来潮又想起来要改立太子,那才是最令人担心的。后来就有人向吕后推荐了张良这个人,说如果实在没办法可以去找他讨要几个主意来听听。
吕后听完就马上派遣了她的哥哥去找张良,希望他能够帮忙出个主意。张良就提到皇帝现在有四个想要招纳到朝廷中的人才,但是这些人一直不愿意做官,如果太子能够把皇上需要的这些人请出山,那么皇上一定会认可太子的能力了。后来,太子按照张良给的计策将这些人成功地请到朝廷中入职。
那时高祖刚平定完叛乱,不知怎么想的又对太子开始不满意起来。于是借着宫中举办的宴会,太子就领着他请出来的这四位先生来到了宴会中去。高祖见到这些人很是惊讶,他说:''这么多年了,我请求先生们出山却一直求而不得,如今是为何跟着我的儿子来到这里呢?''
这四位头发已经花白的老人回答道:''陛下对读书人不屑一顾,轻视我们,所以这才不愿意出山。但是现在听说太子对待读书人非常仁爱友善,天下的读书人对太子都敬佩有加自然愿意为他效劳,所以我们这就是来追随太子的。''刘邦听完久久不语,最后回答道:''那烦请各位先生好好辅佐太子。''
后来宴会散去之后,刘邦对戚夫人单独说了这番话:''虽然我想改立太子,但是现在太子有了这些人的辅佐,我已经不能再轻易动摇他的位置了。''至此,刘邦彻底打消了换太子的念头。后来在太子登基之后,为了报答这四位老先生想要赐爵位给他们,但是最终被他们拒绝了。这四位先生又重新回到山中隐居避世不为后人所知了。