他是西晋的开国功臣，也是灭吴过程中功勋最高的将领
蜀汉灭亡后，司马炎篡魏称帝，建立西晋，与南方的东吴分庭抗礼，但是百足之虫死而不僵，东吴数代人经营，一时间很难拿下，国家统一变得遥遥无期。
公元265年，在洛阳的一处宫殿里，新皇帝正以当年魏王曹丕接受汉献帝禅位几乎一样的仪式接受着魏帝曹奂的禅位，这个皇帝就是晋王朝的开创者、西晋武帝司马炎。司马炎即位之初，励精图治，西晋的国威是蒸蒸日上。而身处江东的吴国却如日薄西山，处处表现出颓废之势：吴王孙皓乖戾、残忍、荒淫的天性在绝望的环境中又向死亡迈进了一步。孙皓的昏庸，衬托出司马炎的开朗，处在痛苦与黑暗中的东吴人开始向西晋寻求寄托，一些将领率众倒戈投降西晋。这样就更激发了晋人灭吴的欲望。于是，灭吴成了朝野人士议论的话题。但晋武帝司马炎也深知，东吴虽弱，却已立国几十年，是个不容忽视的对手，如果策略上稍有失误，就会功败垂成。因此，虽然朝野的灭吴呼声日益高涨，但司马炎始终未轻易许诺，一直到泰始六年(270年)。
当时，西晋和东吴各有一个荆州，形成南北当时，西晋和东吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今天的陕西、河南的一小部分和湖北北部地区。吴国的荆州则有今天的湖北和湖南的大部分地区。晋吴间的边界线以荆州为最长，所以这里是灭吴战争的关键地区。那么该派谁去这里做准备工作呢?此时的司马炎可谓慧眼独具，一下子就抓住了一个合适人选，他就是羊祜，一个在人格上和才略上都是无可挑剔的人物，更是一个卓有谋略的军事家。
羊祜(221-278年)，字叔子，泰山平阳(今山东新泰)羊流人，出身于汉魏名门士族之家，他的祖父羊续汉末曾任南阳太守，父亲羊衜为曹魏时期的上党太守，母亲蔡氏是汉代名儒、左中郎将蔡邕的女儿，姐姐嫁与司马懿之子司马师为妻。他博学能文，清廉正直，而且仪度潇洒，身长七尺三寸，须眉秀美，后娶夏侯霸之女为妻。因与双方都是姻亲关系而曾拒绝曹爽和司马昭的多次征辟，因亲司马氏的政治态度而未受岳父夏侯霸降蜀而受罚。后被朝廷公车征拜为中书侍郎，不久升为给事中、黄门郎。司马昭建五等爵制时以功封为钜平子，与司马炎的另一心腹荀勖共掌机密。晋代魏前夕，司马炎调羊祜为中领军，在皇宫当值，统领御林军，兼管内外政事。晋代魏后，因羊祜有扶立之功，被进号为中军将军，加散骑常侍，进爵为郡公，食邑三千户。
晋武帝称帝后一直在积极筹划消灭孙吴政权的战争，以实现统一全国的大业。泰始六年(270年)，司马炎除任命大将军卫瓘、司马伷分镇临淄、下邳，加强对孙吴的军事布置以外，又特地调任羊祜坐镇襄阳，为荆州诸军都督，假节，并保留他散骑常侍、卫将军等原官不变。镇边后，羊祜更加谨慎从事，力尽职守，不负国望。
他一方面立即占领要害之处和膏腴之地，使吴军在军事上和物资上都处于尴尬境地;另一方面实行屯田，为日后的军事行动打下了雄厚的物质基础。羊祜上任伊始，几乎军无现粮，可到最后一年，仓内已有十年的积蓄。在此基础上，他又采取攻心战，取得吴人的信任，使他们在心理上产生一种对晋的亲切感和对吴的疏离感。他每次与吴人交战，总要等到日出，从不做掩袭之举。羊祜大量开办学校，兴办教育，安抚百姓，怀来远人。有一次，晋军俘虏了吴国的两个孩子，羊祜不但不加以拷问，还送他们回家与家人团聚，孩子父母因此很感激，不久举家迁往晋国。东吴有位将领叫邓香，在攻略夏口时被俘虏，羊祜亲解其缚，为了报答羊祜的不杀之恩，他也率部降晋。还有一次，羊祜带兵巡视边境，因军粮不足，便沿途以吴境内成熟的庄稼充饥，但事后立即让士兵送绢给农田的主人，以此作为补偿。羊祜的良苦用心没有白费，吴人开始改变了敌视的态度，甚至有人敬称他为羊公。羊祜对待敌军将士也是如此，于是边境日渐平安。
后来，羊祜又被加封为车骑将军，并受到开府如三司之仪的特殊待遇。但羊祜没有满足于此，暗地里悄悄加紧灭吴准备。羊祜在边境，德名素著，可在朝中，却每遭诋毁。由于朝中权臣贾充等人从中作梗，使司马炎始终下不了灭吴的决心。时光飞逝，数度春秋后，羊祜已进入暮年，不幸于咸宁四年(278年)病逝，终年58岁。
羊祜死后，举天皆哀。晋武帝亲着丧服痛哭，时值寒冬，武帝的泪水流到鬓须上都结成了冰，追赠羊祜为侍中、太傅，持节如故。荆州百姓在集市之日闻之羊祜的死讯，罢市痛哭，街巷悲声相属，连绵不断;吴国守边将士也为之落泪。可惜羊祜无子，以兄发子篇奉祜嗣。
羊祜临终之时，推荐了另一位名将杜预接替他的职务。这位风度儒雅的将军有书生得头脑，却无书生的弱点，政治和军事才能不亚于羊祜本人。在杜预、王濬、张华等人的敦促下，司马炎终于定下灭吴的决心。战事按照羊祜生前提出的方案：分六路大军向东吴进攻，由王濬率领巴蜀水军为中坚。吴天纪四年(280年)初，王濬率军攻陷建业城，孙皓自缚双手领百官出城投降。东吴40多个郡、300多个县、230余万人口全部归入西晋版图，立国近60的东吴终于断送在亡国之君孙皓手中。
晋灭吴的战争结束了汉末以来长期的分裂割据状态，使中国重归一统。羊祜虽然没有亲自参加这次战争，但他为规划、准备这场战争作出了不可磨灭的贡献。羊祜死后二年，杜预按羊祜生前的军事部署一举灭吴，完成了统一大业，当满朝文武欢聚庆贺的时候，晋武帝手举酒杯，流着眼泪说：“此羊太傅之功也!”。羊祜生前有很多著述，有名的有《晋书·羊祜传》记载的《老子传》和《请伐吴疏》，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。
但灭吴后，晋武帝司马炎逐渐怠惰政事，荒淫无度。他为了巩固皇权而大封宗室。然而诸王统率兵马各据一方。他死后，由其钦定的痴呆儿司马衷继位，诸王为争夺中央权力，内讧不断，最终导致历史16年的内战，史称“八王之乱”，加速了西晋王朝的灭亡，在短暂统一之后使中国重新进入战乱纷飞、长期分裂的局面。