司马睿任命为徐州刺史，后来他继续南下，就住在了京口。祖逖誓师北伐，也是从京口渡江北上。苏峻攻破京城后，北方的流民帅郗鉴为了围攻建康，也是以京口为作战大本营。平定叛乱后，郗鉴任徐州刺史，大本营也在京口。
当时东晋把徐州、兖州、青州这三个州以及扬州的晋陵郡包括京口划为同一都督区，郗鉴就是这个大军区的负责人。因为京口处在建康的东北，而且管理的地盘多在北方，所以习惯上称为北府。
郗鉴在世时，为了安置北方的流民，从中挑选精壮的人，训练组军，成了北府军的雏形。因为作战勇敢，桓温曾说：“京口酒可饮，箕可用，兵可使。”
谢玄到任后，整个广陵和京口聚居着北方的流民，谢玄大规模地招募，日夜加以操练，威震大江南北的北府军正式问世。