卫绾是代郡大陵人,因擅长玩车把戏当上郎官,服侍汉文帝,他的仕途也由此开始,后逐渐升为中郎将。他性情敦厚谨慎,不争不抢,没有其他杂念。
汉文帝驾崩前特意嘱咐了汉景帝,让他好好对待。可汉景帝即位一年多,对卫绾却不闻不问,卫绾则办事日益谨慎认真。
卫绾的下属郎官有过失,他总是遮掩,也不与别人争执,有了功劳,总是谦让给他人。皇帝认为他清廉忠实,没有其什么坏心眼,就任命他为河间王太傅。
吴楚七国之乱时,朝廷令卫绾为将,领河间兵力讨伐叛军,因此立下功劳,升任中尉。
三年后,因军功封为建陵侯。第二年,皇帝废除太子刘荣,杀了太子的外家亲属栗卿等人。皇上因为卫绾年老德高,不忍心动他,让他告假还乡了。
汉景帝立胶东王为太子,又把他召回了,还任命为太子太傅,升任御史大夫。
五年后,卫绾替代桃侯刘舍做了丞相。朝中理事,守职分而已。不过他并没有什么建树,也没有什么过失,感觉有他没他都一个样。
尽管汉武帝与卫绾有师生关系,但他就是彻底的儒生,对于汉武帝来说,他也是支持的。可是掌权的窦太后却是深受文景两位皇帝影响,笃信黄老之学。不久,卫绾被罢除了丞相职务。