公元３８３年八月，苻堅親自帶領八十七萬大軍從長安出發。向南的大路上，煙塵滾滾，步兵、騎兵，再加上車輛、馬匹、輜重，隊伍浩浩蕩蕩，差不多拉了千把里長。

　　過了一個月，苻堅主力到達項城（在今河南沈丘南），益州的水軍也沿江順流東下，黃河北邊來的人馬也到了彭城（今江蘇徐州市），從東到西一萬多里長的戰線上，前秦水陸兩路進軍，向江南逼近。

　　這個消息傳到建康，晉孝武帝和京城的文武官員都著了慌。晉朝軍民都不愿讓江南陷落在前秦手里，大家都盼望宰相謝安拿主意。

　　謝安是陳郡陽夏（今河南太康）人，出身士族，年青的時候，跟王羲之是好朋友，經常在會稽東山游覽山水，吟詩談文。他在當時的士大夫階層中名望很大，大家都認為他是個挺有才干的人。但是他寧愿隱居在東山，不愿做官。有人推舉他做官，他上任一個多月，就不想干了。當時在士大夫中間流傳著一句話：“謝安不出來做官，叫百姓怎么辦？”

　　到了四十多歲的時候，他才重新出來做官。因為謝安長期隱居在東山，所以后來把他重新出來做官這樣的事稱為“東山再起”。

　　苻堅強大起來以后，東晉的北面邊境經常遭到秦兵的騷擾。朝廷想找一個文武全才的將軍去防守邊境。謝安把自己的侄兒謝玄推薦給孝武帝。孝武帝把謝玄封為將軍，鎮守廣陵（今江蘇揚州市），掌管江北的各路人馬。

　　謝玄也是個軍事人才。他到了廣陵以后，就招兵買馬，擴大武裝。當時有一批從北方逃難到東晉來的人，紛紛應征。他們中間有個彭城人叫劉牢之，從小練得一身武藝，打仗特別勇猛。謝玄派他擔任參軍，叫他帶領一支精銳的人馬。這支人馬經過謝玄和劉牢之的嚴格訓練，成為百戰百勝的軍隊。由于這支軍隊經常駐扎在京口（今河蘇鎮河市），京口又叫“北府”，所以把它叫做“北府兵”。