他一生辅佐三朝皇帝，去世后却被抄家
贞观十七年，唐太宗十分怀念当年一起打天下开盛世的老伙计们，命画家阎立本在凌烟阁绘制二十四功臣画像。其实唐太宗的做法是在效仿汉宣帝刘询的“麒麟阁十一功臣”。汉宣帝是霍光等人从民间选出来继承大统的汉武帝后人，他与大臣们一起励精图治，为了国家中兴而宵衣旰食。
甘露三年(前51年)，匈奴归降汉朝，刘询回忆往日尽心辅佐自己治理国家的有功之臣，于是令人画十一名功臣图像放在麒麟阁以示纪念和表扬。霍光是名列“麒麟阁十一功臣”第一，不过，上面没有写着霍光的名字，而是尊称为"大司马、大将军、博陆侯，姓霍氏"，他有何功绩得以名列第一，又是为何导致不能全名于麒麟阁呢?
要提霍光，就不得不提一下汉武帝时期的名将霍去病，霍光是霍去病异母的弟弟。因为霍去病为大汉建立了不世功勋，十余岁的霍光便被汉武帝任命为郎官(皇帝身边的侍从，当然不是宦官)，“乃将光西至长安，时年十余岁，任光为郎”。
霍光从小就是汉武帝的侍从，深知伴君如伴虎的道理，也见识了汉武帝的帝王权术，一直都是小心翼翼的陪在汉武帝身边。霍去病去世后，霍光直接被任命为光禄大夫，但是他也失去了自己最大的依靠，做事随时如履薄冰，更是从来不愿意卷入任何斗争之中，“出则奉车，入侍左右，出入禁闼二十余年，小心谨慎，未尝有过，甚见亲信。 ”
汉昭帝二十岁的时候因病去世，没有留下子嗣，霍光等人先是拥立昌邑王刘贺，发现他实在毫无一国之君的样子后就拥立汉武帝嫡长子之孙刘病已为皇帝，是为汉宣帝。
汉宣帝即位后，霍光也是认认真真的辅佐，虽有点小心思想让自己的女儿做皇后，但是在皇帝表明心意之后，霍光也没有说什么。然而，霍光的老婆霍显并不死心，联络女医毒死皇后许平君之后，霍光的女儿才做了皇后。皇后是霍光的女儿，太皇太后上官凤儿是霍光的外孙女，霍光的势力在这个时候达到顶峰。不知道是命运故意不让霍光留下人生的污点还是啥原因，霍光在公元前68年去世。
谨慎一生的霍光死了，霍家仍旧把持朝政不知收敛，霍显更是授意自己的女儿霍皇后找机会毒杀太子，还好汉宣帝一直对太子安排的极好才没有出什么岔子。霍显见没有得手，竟然直接联合霍家众人一起反叛朝廷，要废黜汉宣帝立霍光的儿子为皇帝。不过事情还在计划之中就被汉宣帝知道了，霍家因此被抄家、“宗族竟诛”。这也就是为啥麒麟阁上只有"大司马、大将军、博陆侯，姓霍氏"，而没有“霍光”的原因。