岳飞的粉丝群：朱元璋每年祭奠，努尔哈赤视其为偶像
《精忠岳飞》剧照
易中天在《品三国》中曾指出，著名的历史人物都有三种形象：历史形象、文学形象和民间形象。历史的岳飞是抗金名将，文学的岳飞是忠臣孝子，民间的岳飞则是华夏武圣。岳飞从一个被冤杀的大将到一个被追捧的忠臣，再成为被老百姓津津乐道的传奇英雄，收获众多粉丝。
宋亡后，蒙古统治者一面在岳飞原有名爵的基础上，加赐他为“保义”；一面整修岳飞的陵墓与庙宇。朱元璋起兵时打出的旗号是“驱逐鞑虏”，自然对前辈岳飞大加推崇，称他为“宋少保鄂国武穆王”。洪武九年（1376年），岳飞被列为历代三十七名臣之一，配享宋太祖庙。每年岳飞忌日，朝廷会派使者到岳庙祭奠。
明朝灭了元朝，但没能让蒙古人臣服。蒙古瓦剌部生擒明英宗，兵临北京城下。于谦拥立景帝，保住了首都。后来英宗复辟，杀死于谦。于谦的命运和岳飞很相似，立有大功，却被冤杀。 明朝士大夫和老百姓纪念岳飞，也有怀念于谦的成分。
正德八年（1513年），不知是什么人想出的主意，岳庙前立起秦桧、王氏、万俟卨三人的铜像；万历二十二年（1594年），又加上张俊，把四人一起用质地更为坚硬的白铁铸成跪像，从此有了那句“青山有幸埋忠骨，白铁无辜铸佞臣”的话。万历年间，女真部族露出反叛明王朝的苗头，明神宗惦记起当年的抗金英雄，称岳飞“精忠贯日，大孝昭天”，封他为“三界靖魔大帝”。
让人意想不到的是，努尔哈赤也是岳飞的仰慕者，传说他因此将两个孙子改名为岳托和岳乐。清朝定鼎中原，并没有清算与老祖宗为敌的岳飞，顺治时重修杭州岳庙，后又几次扩建，雍正亲题“碧血丹心”。以翻案为乐的乾隆几次亲临岳庙，赞赏岳飞是“百战兵威震一时”。清政府不好公开贬斥岳飞，能做的就是通过单方面抬高关羽，来间接地抑制岳飞的地位，使关二爷代替岳武穆做了唯一的武圣。
革命党反清时也顺理成章地抬出岳飞做偶像，辛亥革命后，北洋政府推动关岳合祀，将岳飞的地位再次与关公拉平。抗战期间，岳飞是反击侵略的英雄；到了内战，岳武穆又因为平定过钟相、杨幺，成了剿匪能人的代表。