王濬因政绩突出，被拜为右卫将军、大司农。车骑将军羊祜当时正筹划平吴，素知王濬奇略过人。便密上表章，请仍留王濬于益州，参与平吴大计。同年·，晋武帝依羊祜之建议，复任王濬为益州刺史。

王濬得监督梁、益二州，羊祜欲借上流势力，顺道讨伐东吴，并且因为王濬之名与童谣相符，即表闻晋廷，请饬令王濬密修舟楫，为东略计。

晋武帝司马依羊祜所以言下诏让王濬修造舟舰，王濬造连舫大船，方一百二十步，每艘可装载二千余人。大船周边以木栅为城，修城楼望台，有四道门出入，船上可以来往驰马。又在船头画上益鸟首怪兽，以恐吓江神，船舰规模之大数量之多，自古未有。王濬在蜀地造船，削下的碎木片浮满江面，顺流漂下。

吴国建平太守吾彦取些木片呈给吴主孙皓说：“晋必有攻吴的打算，应在建平增兵防守，建平攻不下，晋军终不敢东下。”

吴主孙皓方盛筑昭明宫，大开苑囿，侈筑楼观，采取将吏子女，入宫纵乐，还有何心顾及外侮？接得了吾彦的奏表，简直是不遑细览，便即搁过一边。

吾彦不得皇帝答诏，于是自己命令工人冶铁为锁，横断水路，作为江防。适吴西陵督军步阐，因为惧罪而投降晋朝廷，吴大司马陆抗，陆凯从弟，自乐乡督兵讨伐步阐，围攻西陵。羊祜奉诏前往援助，自赴江陵，别遣荆州刺史杨肇攻打陆抗。

陆抗分军抵御，击败杨肇。羊祜闻杨肇败还，正拟亲往督战，偏西陵已被陆抗攻入，步阐被诛，屠及三族。羊祜只好付诸一叹，率兵还镇。

晋武帝司马炎罢杨肇之官，任羊祜如旧。

鉴于历史上孟献子经营虎牢而郑人畏惧，晏弱筑城东阳而莱子降服的经验，羊祜挥兵挺进，占据了荆州以东的战略要地，先后建立五座城池。并以此为依托，占据肥沃土地，夺取吴人资财。于是，石城以西均晋国占有，吴人来降者源源不绝。

羊祜于是实施怀柔、攻心之计。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜都预先与对方商定交战的时间，从不搞突然袭击。对于主张偷袭的部将，羊祜用酒将他们灌醉，不许他们再说。

羊祜有部下在边界抓到吴军两位将领的孩子。羊祜知道后，马上命令将孩子送回。后来，吴将夏详、邵颉等前来归降，那两位少年的父亲也率其部属一起来降。吴将陈尚、潘景进犯，羊祜将二人追杀，然后，嘉赏他们死节而厚礼殡殓。两家子弟前来迎丧，羊祜以礼送还。吴将邓