司马炎从曹奂手中夺过皇位之后,三国鼎立的局面已不复存在。三国仅剩一中国,即东吴。东吴当时是孙皓当权。孙皓昏庸无能,不善治国,吴国处于风雨飘摇之中。
而司马炎刚刚即位不久,雄心尚存,便于他登基后的第五年,即公元269年,派大将兰羊祜镇守襄阳,做灭吴的准备。
当时吴国边境的领军主帅是大将陆抗。此人很会用兵,经常带兵在边境挑衅,以图入侵晋朝。而羊祜到了襄阳,发现军稂不足,军心不齐,虽然明知陆抗挑衅,却认为作战时机不成熟,不肯贸然出战,反以友好的态度对待陆抗和吴国边境的军民。
但是为了早日实现晋朝的统一大业,羊祜一到任就开始暗暗改善边境情况。首先他开始整顿军队,建立赏罚分明的制度,然后与军民一起开荒种地,供应部队给养,又趁机修筑要塞,以备战用。为了笼络人心,他还警告军士,不得侵犯吴境的百姓。这一年,正赶上吴境大旱,颗粒无收。军士将这一消息报告给羊祜。羊祜听完沉吟半晌。忽然一挥手,命令道:“开仓放粮,赈济灾民!”军土们都非常惊奇,为何如此对待敌国的人。但是大帅有令,不得违抗,只得依令去做。不久,就有许多曾得到过羊祜赈济的灾民前来军中效力,军土们这才暗赞大帅目光长远。
吴军主师陆抗本来对羊祜怀有敌意,时时处于警备状态。但后来见羊祜并不侵扰吴境百姓,还帮助赈灾。特别是有一次自己生病,非常厉害。羊祜听说后,立刻送来好药,免去自己的疾病之苦。就是自己的国君也没有因为自己长年戍边而对自己这样好过。因此,逐渐受了感动,减去敌意,与羊祜的关系也缓和下来,甚至还经常回赠些礼物。
可是羊祜并不是真正要与吴国交好,他所做的一切,都是为了晋朝的统一大业。几年后,陆抗病死,他的四个儿子接替他领兵。这几个人不会带兵打仗,而吴主孙皓也不会治理国家,任意杀戮大臣残害忠良,不管百姓死活。而此时襄阳的晋军兵强马壮,粮草丰足。羊祜认为出兵伐吴统一晋朝的机会来了,便立刻上表武帝。