朝廷让刘怀慎率军入境的旨意颁至，胡藩已先行得到杨安玄的命令，与冯冲率领兵马先行离开临沂城，将阳城、东安等占领的琅琊郡城池都让出，退到北冀州东莞郡东莞城(今山东临沂市沂水、莒县北部一带)中。
刘怀慎得知雍军退走，命人进入临沂、阳都(今山东沂南县砖埠镇一带)、东安(今临沂市沂水县、沂源县一带)，前去接收的兵马回禀，胡藩撤走时将府库中的钱粮布帛搬运一空，愿意随同雍军撤走的官吏百姓也随之离开。
刘怀慎命人从彭城调运粮食到来，他预想到雍军虽然让开道路，但不一定会让自己顺利到达广固城，进入北冀州恐怕凶多吉少。雍公一再上疏强调北冀州境内匪患丛生，恐怕就是想学微山湖的水匪一样，借盗匪之名对付自己。
刘裕从建康发来急信，命刘怀慎先驻于琅琊郡开阳城，修筑好进广固城沿途的城垒，徐徐入北冀州。
当年刘裕伐(南)燕时，从下邳开始沿途修筑城垒，时过四年多，这些城垒多数荒弃倒塌。刘怀慎命人修复好琅琊郡内的城垒，接着派出役夫进入东莞郡修复城垒，结果
刘怀慎大怒，以北冀州刺史的身份下令，严令别驾胡藩和司马郭清尽快扫平境内匪患，从东莞城到广固城，每隔二十里便要筑起一处城垒。
胡藩回文，三月正是农忙之时，不好征役，等七月秋收之后的再说。
刘怀慎向朝廷上疏，以怠慢军机为由撤换胡藩和郭清，刘裕被朝廷授以“都督中外诸军事”，以朝廷的名义将胡藩、郭清撤职。
杨安玄怒不可遏，命胡藩严阵以待。等新任别驾朱平带着千余兵马入境前往广固城，行至半途被盗贼劫杀。
盗贼杀死朱平之后，并没有消失，而是继续南下，将东安、阳城一线修筑的城垒尽皆捣毁，掳走驻守的官兵。
杨安玄思忖若能将所有兵马集中在一起，便有机会一举歼灭刘裕，可是(西)秦、夏国、(北)魏必然会趁虚而入。
雍公杨安玄上疏为北冀州别驾胡藩等人辨争，认为胡藩等人并无过错，北冀州盗贼蜂起是因为刺史刘怀慎胡行乱为，请求朝廷贬谪刘怀慎，任命胡藩为北冀州刺史，并严斥宋公刘裕。
杨安玄与王镇恶商量，以后还要扩大参谋部的规模，从军中征调将领前来参谋部进修，增强普通将领的指挥能力。这点建议王镇恶是竭力赞同，这样一来有个十数年，军中将领便多成为他的学生了。
参谋部重地，院门前有六名兵丁日夜值守，防备森严。议事大堂跟雍公府大堂差不多大小，里面摆放着沙盘，悬挂着舆图。
鲁郡、泰山郡成为宋公刘裕的封地，刘裕派往两地的属官入境后同样不知所踪，建康城内风声鹤唳，多数人以为雍公很可能挥师南下，同宋公争夺天下。
屋东北角有个橱柜，里面放着十几种茶叶罐，这是杨安玄体贴参谋部的参谋们多数年岁较大，让他们一边议事一边品茗。
杨安玄站在沙盘前沉吟不语，这沙盘近丈方圆，按照《天下图》的描述简易地拼成地势图。
杨安玄广施仁德，治下的门阀士族和百姓均对其统治皆认可，粮食连年丰收，出现谷贱伤农的苗头，杨安玄让郡县官府鼓励百姓栽种豆类、菜蔬、瓜果以及等经济作物。
去年年底盘点家底时朱琨禀报，他治下共十州(未算秦州)五十六郡共四百八十二县，共有百姓九百余万人(不含门阀士族以及官员名下的荫户、隐户)，其中丁口接近六百万，六十岁以上老者约八十万；这几年百姓日子好过，小孩出生的数量猛增，未成丁的小孩近二百万。
当兵吃粮，要养五十万兵马和数万匹战马，兵丁按平均算月饷三石(设定一石三十斤)，粮饷需要一千八百万石；加上军中兵马所食每人每月按二石平均计算，战马翻五倍，需粮一千六百万石左右，正常开销需粮三千五百万石左右。
参谋部设掌事一人，王镇恶；设左、右丞为佐，左丞由赵田兼任，右丞则让原天水郡太守高长庆担任。
而粮食增多，传统的积谷防饥的观念正在逐渐转变，大户人家开始储藏金锭、银器和珍宝，集市上的买卖也多用铜钱支付，这表明构建货币体系的可能性已经出现。杨安玄开始与王镇恶、辛何等人谈论、构想货币框架，准备在不久的将来建立以钱易物的金融体系。
各地郡兵加起来应该已经超过十二万，屯军之数已过二十万，自己治下养军近五十万人，战马的数目超过三万。
于是，刘裕只得命刘怀慎以北冀州刺史的身份驻于琅琊郡开阳城，在琅琊、彭城、下邳一带屯粮练兵，准备北伐。
杨安玄在境内大力推广儒学，杨安玄要求每县皆治学庠，学庠教师人数约在二千左右，每人按年俸八十石计算，加上年节赏约在一百六十万石。
廷议决定由都兵侍郎蔡秀接任北冀州别驾，还没等出发，蔡秀便上疏称病，气得刘裕当场将他免官让其回家养病。
朱琨兴奋地道，这些年大力推广杨家犁，鼓励屯军、百姓开荒，大见成效。田地每年以十数万顷的数量新增，杨安玄下令新垦田地归于垦田之人，三年之内不用纳税的政策激励着百姓不断拓荒。