他去世，唐太宗亲自参加他的葬礼，痛哭失声说自己少了一忠臣
唐太宗之所以能把国家治理的那么好，跟他善于发现人才并且重用他们脱不开关系，他选用官吏的标准只有一个，就是这个人有贤能。高祖去世之后，李世民继承了帝位，当上皇帝之后，他把魏征提升为尚书左丞。魏征本来是李建民的部下，李建民死后他就投入了李世民手下本来，就有很多人不满，何况他还不断升迁，自然遭了不少人的妒忌。
有人弹劾魏征说他私自提拔了自己的亲戚，唐太宗最讨厌这些以权谋私的事情，就马上派了人去调查，结果什么都没有查到，即便如此，唐太宗还是派了人告诉魏征说，让他以后做事记得避嫌，不要再这样惹麻烦。魏征当即要求面见皇帝，唐太宗接见了他之后，魏征说“我们君臣之间，应该相互信任，我忠心耿耿，什么事都是秉公办理的，如果要避嫌，那必然有很多事不能秉公处理，这没有什么好处。我希望自己是一个良臣，而不单单是一个忠臣。”唐太宗问到“那忠臣和良臣有什么区别吗？”魏征答到“良臣就是用尽全力使君主能够成为一个明君，而忠臣就是一味听从君主所言，一味的顺承，不管对错。”太宗觉得他说的非常有道理，从此更加信任魏征。
魏征敢于直谏，即便当时皇帝非常生气，没有人敢忤逆的时候，魏征也敢于当面与唐太宗争辩太宗做的不对的地方，从来不会因为外界因素而退让。有一次上朝的时候，魏征当着所有大臣的面，跟唐太宗争论，丝毫不退让，唐太宗憋了一肚子气，下了朝之后回到内宫里，看见了长孙皇后，他无比生气的对长孙皇后说“魏征这个乡巴佬，只知道惹我生气，总有一天我会杀了他。”
长孙皇后也是出了名的聪慧贤德，她听了皇帝的话之后并未回答，而是回到房间换了一身正式的朝服，唐太宗感到很奇怪，就问她这是在干什么，长孙皇后说“我听说只有雄才伟略的皇帝，才能有敢于直言进谏的大臣辅佐，现在有魏征这样的臣子，不正是说明了陛下的英明吗？既然如此，我自然要祝福陛下。”唐太宗听了这番话慢慢就不生气了，他想了想魏征平日里的为人，觉得要是魏征学会委婉也就不是他了，于是唐太宗彻底放下了怒火。