吴人做事急速而不能持久，弓弩戟盾等又不如中原，只有水战于他们有利，但我军一入吴境，长江就不是吴军专有，吴军回头保守城池，则是去其长而有其短。晋军深入敌国，远离后方，必有死战的决心;吴人在本土作战，会有败则退而守城的念头。这样看来，平吴之战是很快可以取胜的。
此疏就是历史上有名的《请伐吴疏》。奏疏得到了司马炎的肯定，却遭到了朝内其他大臣的反对，权臣贾充、荀勖、冯紞等人的态度尤为激烈。他们提出西北地区的鲜卑未定，不应该两线作战。只有度支尚书杜预、中书令张华等少数人赞同。
恰逢晋军在秦、凉屡有败绩，羊祜遂再次上表：“东吴平定，则胡人自然安定，当前只应迅速完成灭吴的大业啊。”但还是遭到大部分人的反对，羊祜叹道：“天下不如意的事总是十有七八，目前有些人当断不断，当予不取，怎能不让以后的有识之士引为遗憾！”
咸宁三年（277年），司马炎下诏以泰山郡的南武阳、牟、南城、梁父、平阳五县合并为南城郡，进封羊祜为南城郡侯，设置国相，与郡公同级。羊祜辞让说：“昔日张良辞让三万户的封地，只接受留这个地方的一万户，汉高祖满足了他的愿望。臣在先帝时接受了钜平这块封地，岂能再接受更重的封爵而遭来官场的非议。”坚意不接受这次加封，司马炎也就答应了。
叶雄绘羊祜像
叶雄绘羊祜像
羊祜每次被司马炎提拔封赏，常持恬淡退让态度，至诚之心世人皆知，他的德操志趣，往往不在官职的行列等次上。所以英名美德传播远近，朝野上下有目共睹，朝中大臣议论，羊祜应居宰相之位。但司马炎正在考虑灭吴之计，将东南军政要务托付给羊祜，也就把大臣的意见搁置一边了。
羊祜任职历魏晋二朝，掌握国家机要，重大举措，都要向他咨询，而争权求利的事却与他无关。他所献的好计谋和正直的议论，事后都把稿子烧掉，所以世人很少知道。凡是他所荐拔的人，都不知荐拔人是谁。
有人认为羊祜这样谨慎守密太过分了，羊祜解释说：“话怎能这样说呢，现在一般人在你跟前促膝谈心，像是很亲近，一出门就说假话坏话，所谓君臣之间不守密的训诫，我怕自己还没做到呢？身居要位而不荐拔贤才奇人，岂不在知人问题上有愧吗？况且，被荐举的人在朝廷受职，而却到荐拔者私门谢恩，这是我不愿意做的。”羊祜的女婿劝羊祜说：“购置些田产家业，也好卸官后有所归宿，后事有所依托，这样不是很好吗？”羊祜当时没有答话，事后告诉子女们说：“这种说法是知其一不知其二。作为人臣，经营私业就违背公事，这是很糊涂的做法，你们应记住我这些话。”
羊祜曾经给从弟羊琇写信道：“东吴平定之后，我当戴上隐士的角巾，东回故里，经营一个能容棺材的坟墓。一个贫寒之士而至身居重位，怎能不因势盛气满而受指责呢？汉朝的疏广就是我的榜样。”
后来，羊祜因击吴有功，应当增封爵位或食邑。他请求将自己的这份恩赐转给舅父的儿子蔡袭，于是司马炎下诏封蔡袭为关内侯，食邑三百户。
咸宁三年（277年）冬十二月，吴夏口都督孙慎侵入西晋边界，掠走弋阳、江夏等地上千家人口。羊祜没有派兵进行追击。事后，司马炎派人追查原因，并打算移徙荆州的治所。羊祜说：“江夏离襄阳八百里，等知道吴贼侵犯的消息，贼已离去几天了，再派兵去，哪能救护百姓呢？让军队来回奔波，只图不受责备，这样做恐怕不合适。从前魏武帝设置都督，大致都与州府接近，因为军队宜聚合而忌分散。国境线上一方是敌，一方是我，认真守住边界就算了，这是古代人有益的教诲。如频繁迁徙州府所在地，敌人出没无常，很难确定州府应设在哪里。”使者也无法责问羊祜了。
咸宁四年（278年）八月，羊祜染病，请求入朝。返回洛阳时，正逢同母的姐姐羊徽瑜逝世，他悲痛万分，病情更加严重。司马炎命羊祜抱病入见，并让他乘坐辇车上殿，不必跪拜，备受优礼。羊祜则再一次向司马炎陈述了伐吴的主张。
后来，羊祜病势加重，已不能入朝，司马炎专门派中书令张华前去咨询方略，羊祜对张华说：“当今主上有受禅让的美名，但功德尚未着称于世，吴人暴政已到极点，此时伐吴可不战而胜。统一天下而兴办文教，则晋主可比尧舜，而臣下犹如稷契，这是百代难逢的盛事。如果放过这个机会，孙皓或不幸死去，吴人另立英明君主，虽有百万大军，长江是难以越过的，这不是留下后患吗？”张华很赞赏羊祜的主张。羊祜又对张华说：“能实现我这个愿望的是你啊！”司马炎打算让羊祜卧病统领征吴诸将，羊祜说：“取吴不必我亲自参加，但平吴之后还要圣上操心去治理啊！关于功名的事，臣不敢自居。若我的一生即将完结，应当将未成事业托付他人，希望能审慎选出这个人。”
同年十一月，羊祜病逝，享年五十八岁，并在临终前举荐度支尚书杜预自代。他死后，司马炎亲着丧服痛哭，时值寒冬，司马炎的泪水流到鬓须上都结成了冰。荆州百姓在集市之日听说羊祜的死讯，纷纷罢市痛哭，街巷悲声相属，连绵不断；吴国守边将士也为之落泪。随后，司马炎下诏追赠羊祜为侍中、太傅，谥号为“成”；赐“东园秘器，朝服一袭，钱三十万，布百匹”。
羊祜为人清廉节俭，服饰简易朴实，所得俸禄都用来接济亲族，赏赐军士，家中无余财，临终遗嘱，不能将南城侯印置入棺材。从弟羊琇等向司马炎陈述羊祜平生的志愿，要求葬在先人墓旁，司马炎不许，将离洛阳城十里外的一顷地赐给羊祜作墓地。羊祜的灵柩及送葬队伍出发时，司马炎在洛阳的大司马门南边奠祭送行。