在他还是一个只统帅几百千把人的低级军官的时候,倒是有过不少跟金兵交手的记录,那时候他还隶属于八字军的王彦,但是很快他就脱离了王彦,这其中的原因各种史料都是含糊其辞,大多数都归结于双方的政治,军事理念不合,但是,二人从此再没有任何交集,甚至在王彦因为年老体弱退休的时候,对于朝廷要把八字军调拨给岳飞的提议表现出了异乎寻常的激烈反对,他路过武昌岳飞的驻地时,岳飞曾经组织部下准备盛情迎接,但是王彦坚决拒绝跟岳飞见面,就是不给他面子,由此可见,岳飞肯定是曾经做过非常对不起王彦的事情。
他交过手的有大土匪李成,曹成,农民军杨幺,都取得了非常好的战绩。他刚刚隶属张俊的时候(神武右副军),只有一万人左右的部队,除去后勤淄重人员,战斗部队不过六七千人,但是在剿匪的战斗中异常勇猛,从江西一直打到广西,先后击败了李成,曹成所部几十万人的土匪武装,自己也选择收编了大量的部队,达到六万人左右,尤其是收服了曹成部下的猛将杨再兴,并且脱离了张俊独立成军,被高宗升格为神武后军,任命为相当于节度使留后的承宣使,官阶也达到了四品,此时,大约是在绍兴五年,岳飞主导了从齐伪政权手中收复襄阳六郡的战斗,把荆湖地区从齐伪政权手中收复,这应该是岳飞一生当中最大的战功,也使得岳飞成为有宋以来最年轻的节度使,所辖部队的数量达到了十万之众,成为南宋最大的一支武装力量。直到此时,高宗对岳飞都是信任有加,倾心扶植的,其他几大将刘光世,张俊,韩世忠,吴介都是北宋时期的旧将,只有岳飞是高宗从最基层一手扶植起来的,在刘光世退休的时候,高宗甚至准备把刘光世部的六万人都划拨给岳飞,“中兴之事,一以委卿”。
由此可见,高宗曾经是非常欣赏岳飞的,但是,也就是从这个时候开始,岳飞就逐步的让高宗开始讨厌了,不知道是岳飞自己“居功自傲”还是岳飞确实缺乏政治敏感性,基本上从绍兴七年开始,岳飞就变得有些骄横跋扈,为所欲为了,先是高宗取消了让岳飞兼并淮西军(刘光世部)的计划之后,岳飞大发雷霆,擅自辞职回了家,不仅置朝廷的多次让他复职的命令于不顾,而且他的死党张宪对于朝廷派来的代理官员及力抵制,排挤,把军队当成了岳飞的私产,直到高宗以王贵等人都性命相逼,岳飞才不情不愿的答应复职,这件事情给高宗留下了极坏的印象,高宗甚至都说出了“犯吾法者,唯有剑尔”的话来警告岳飞。而接下来的干预立储的事情,岳飞不仅仅是违规,而且从心理上触碰了高宗最敏感的神经,在高宗义正词严的斥责了岳飞之后,他不仅不知道悔改,居然还“其意秧秧”。
如果说在绍兴十年之前,岳飞虽然开始表现出所有的高级将领都有的骄横跋扈,但是基本上还在高宗的忍耐范围之内,在这个外患頻发,动荡不安的时代,高宗还是可以跟这些类似于军阀一样的高级将领们“求同存异”的。虽然岳飞已经很拿自己不当外人一样的开始抨击朝政,非议上司,藐视官家,高宗还是把他当成自己人在维护,但是,绍兴十年的淮西之战,让高宗对岳飞彻底丧失了信心,在刘琦被金兀术的主力围困于顺昌(顺昌的守军就是八字军,王彦已经退休,此时的将领是刘琦)的时候,高宗连发十五道手札,要求岳飞驰援顺昌,而岳飞居然置高宗的命令于不顾,迁延逗留,坐观胜负,后来干脆自顾自的跑到河南去“收复失地”去了,不仅如此,绍兴十一年的淮西战役,岳飞又故技重演,置高宗的命令于不顾,最终导致了宋军在毫州大败,连杨沂中率领的高宗的御林军都几乎全军覆没,至此,高宗算是对包括岳飞在内的诸大将都彻底丧失了信心,终于痛下决心进行军改,收取诸大将的兵权,对军队进行彻底的改革。这也是岳飞从高宗一手扶植起来的,曾经寄予厚望的心腹大将到彻底丧失信心的发展历程。