洛涧之战的胜利令晋军信心倍增，谢玄作为前锋率军继续乘胜追击，水陆并进，直抵淝水东岸，在八公山边扎下大营，与寿阳的秦军隔岸对峙。
由于担心秦军人多势众，长时间对峙于自己不利，谢玄便派使者去见苻坚说：“君主英武，万民敬仰。现在两军对垒，有淝水阻隔，兵刃不能相接。相持既久，粮草枯竭，天寒地冻，对双方都没有好处。鉴于秦军实力雄厚，不如稍微向后退一退，留出一块空地来，双方对决胜负立现，在下也好回去交差。”
苻坚心想：无论你想干什么，我且以逸待劳，等你军过河到一半我就下手，几十万铁骑给他来个半渡而击，以雪洛涧之战失败之耻。于是下令军队后撤。
由于前秦统一北方不久，军队东拼西凑成分复杂，对于劳师远袭，也持消极厌战态度。加之洛涧一战新败，几万人一夜溃散，恐慌情绪蔓延，现在又无理由地后撤，进一步动摇了军心，造成了军队阵脚大乱。
一见秦军后撤，谢玄果断命令八千多骑兵马上抢渡淝水，登岸后不做停顿即刻向秦军发动猛攻。
东晋降将朱序见人心浮动，趁机带领下属大声喊叫：“秦军败了！秦军败了！”
人心惶惶的秦军信以为真，乱作一团，在晋军骑兵迅猛的攻击下，互相践踏，死伤无数，主帅苻融战死，君主苻坚为流矢所伤，单骑向北方逃走。见主帅已死，多数人马丢盔弃甲连夜逃窜，风餐露宿，挨饿受冻，死去的有十分之七八。
淝水之战东晋以少胜多，干脆利落地化解了前秦近百万大军压境的亡国危机，并斩获财物无数。这明显和宰相谢安的事先精心筹划密不可分，于是谢安声望日隆。
在东晋举国欢庆的同时，也有流言蜚语。以谢安为首的救亡图存的英雄们，在敌人的刀光剑影中，在敌人的数万铁蹄下浑然不惧，但经不住自己人无端的中伤。
这时孝武帝已经23岁了，潜藏在内心的对门阀政治的疑惧悄悄抬起了头，他害怕谢安也像桓温一样功高震主，害怕自己被废，奸谄小人也乘机煽风点火，捏造罪名陷害忠良。于是皇帝和宰相貌合神离，有了嫌隙，孝武帝明里暗里逐渐让有血缘关系但无能的胞弟司马道子接替了谢安的位置。
对于这件事，睿智干练的桓伊看得很清楚，他说：“为君既不易，为臣良独难。忠信事不显，乃有见疑患。周旦佐文武，《金朦》功不刊。推心辅王政，二叔反流言。”
大意就是当皇帝不容易，做良臣尤其难。明明做了忠君之事却视而不见，还疑神疑鬼。就像周旦辅佐文王、武王的功劳，《金朦》也没有书写，殚精竭虑地辅佐皇帝反被流言所伤。
385年四月，淡泊名利的谢安不屑与小人勾心斗角争权夺利，于是主动交出手上权力。八月，病逝于建康，享年六十六岁。
遥想当年，孝武帝年幼，权臣桓温当道，是谢安力挽狂澜竭尽忠诚辅佐护卫，才使晋室得以安稳。
十年前，晋军在与前秦的交战中处于劣势，是谢安举荐有军事才能的侄子谢玄出任兖州刺史，在广陵挑选良将，训练精兵，选拔了刘牢之等勇士，训练出了北府兵，才有今日之成功。
而今鸟尽弓藏，兔死狗烹，谢安遭遇了这种糟透了的事情，有苦难言。东晋统一国家的希望，就像一颗流星在夜空划过一道亮光，转瞬就消失在无边的黑暗里了。
乘着淝水之战的胜利，谢玄一鼓气，收复了部分失地。但没有了谢安在朝堂斡旋与鼎力相助，北伐战争没走几步就戛然而止了。
387年，迫于政治形势的变化，谢玄被迫辞职，放弃了北府军的领导权。随后抑郁成疾，于388年去世，终年48岁。
接替谢玄的是皇室宗亲司马恬，在司马家族里此人功勋、名望、才干俱佳，故深得晋孝武帝器重，于是在388年领镇北将军、兖青二州刺史。掌握了北府军的领导权。但好景不长，两年就后死了。
王恭是晋孝武帝皇后之兄，年轻时就有气节有志向，颇受孝武帝器重。390年，王恭接替司马恬担任兖、青二州刺史，镇守京口。
在这段管理层风起云涌变化莫测的日子里，在底层效力的刘裕先是作为孙无终的司马，后被孙无终推荐为刘牢之的参军，主要精力放在了严格训练军队，熟悉各个兵种如何在战场上协同作战，以及各种阵法在实战中的运用。
方阵、圆阵、疏阵、数阵、锥形阵、雁形阵、钩形阵、玄襄阵等阵法，他都熟记于心。一字长蛇阵、二龙出水阵、天地三才阵、四门兜底阵、五虎群羊阵、六丁六甲阵、七星北斗阵、八门金锁阵、九字连环阵、十面埋伏阵他都洞悉其妙。