洪武三十一年中秋节后，吴杰收到了辽王让他“便宜行事”的指示。
他当时还没闹明白什么是“便宜”，直到见到张辅邀请他一起撤回辽东，才知道辽王和朝廷闹翻了。
“安陆侯，朝廷忘恩负义，咱们一起回辽东吧。”
“这……我好不容易整合好广东、广西和交趾三地水师，刚刚组建好南海舰队，海南岛的港口还没有建好。如果现在拍屁股走人，前面的努力恐怕都要打水漂了。”
“难道你忘了辽王殿下对你的知遇之恩？”
“我只是觉得，交趾刚刚平定，还需要海军的支援。”
“我想起来了，你现在是朝廷任命的南海舰队司令，不再归辽东管了。”
“张将军不要笑话我了。辽王深明大义，让我便宜行事，恐怕早就对此有考虑，让我留守交趾。”
“好吧，人各有志，不能强勉。但是我和其他兄弟们要回辽东，你不会反对吧？”
“不会的。我让马欢带领最大的“天鹅城号”战舰和几艘补给舰跟你们回辽东吧。等交趾彻底平定，我会把其他军舰也还给辽东的。”
当张辅邀请他一同退回辽东的时候，吴杰确实感到十分为难。
在经历一阵内心痛苦斗争后，只好让张辅带领主要舰只撤离交趾，自己率其余中、小舰只仍然留在交趾下龙湾和海南岛一带。
即使如此，海军官兵还是人心惶惶，有的家人在辽东，有的更相信辽王，有的觉得辽东的待遇更好，时不时有人找机会溜回了辽东。
不到一年的功夫，离开辽东这个平台后，吴杰的南海舰队维修保养、弹药补充、人员训练都成了问题，最后只剩下“金州号”和“辽阳号”两艘中型军舰充门面，其余都是义州号之类的小舰只。
南海舰队也就是风光了一年，又从深海大龙虾变成了浅水小虾米了。
辽王离京之后，建文帝很是惊慌了一阵子。
后来见太上皇并未过多斥责，辽王也只是派人送来一首看似看破红尘世事的《临江仙》，辽东军也未敢上门兴师问罪，他慢慢稳住了心神，想起了自己的身份：大明天子，而天子是不受指责的。
没过几天，京城里头又闹起了满城风雨。
“大家听说了没有，新皇帝逼走了功高震主的辽王爷！”
“我还听说，辽王爷的船走到丹徒就莫名其妙沉了。说不定就是新皇帝派人悄悄把那船凿了个窟窿，想谋害辽王爷。”
“好在咱们辽王爷能神机妙算，又有夜行神器，早从陆路回到了辽东。”
“……”
驻守京城的京军羽林前后两卫有不少骨干出自辽东军，对辽王是相当的崇拜，闻讯后群情激昂，纷纷要求调回辽东。
建文帝只好找来齐泰商量对策。
“齐泰，最近外面都在传言说朕谋害辽皇叔。朕听说京军不少原来的辽东千户、百户们也要出走啊？”
“陛下，那些传言都是无稽之谈。羽林卫有几十位骨干眼中只有辽王，没有陛下，特别是那个叫慕华的指挥佥事，职位最高，闹得最凶。”
“你堂堂兵部侍郎就没有办法吗？”
“臣建议先把慕华抓起来法办。还有张辅目无朝廷，竟然未经请旨，擅自带领辽东军撤离交趾，回辽东了。臣建议褫夺张辅爵位，交兵部和吏部议处。”
“算了。连皇爷爷都忌惮辽皇叔，说辽东军不过万，过万则天下无敌。你就不要把事儿惹大了。”
“臣只想维护陛下龙威。”
“你记住，连朕的皇位都是辽皇叔让的，哪有什么威望可言？你和山寿还是交出几个手下吧，给辽皇叔和辽东军一个交代，就说丹徒沉船事件是这几个人擅自作的主。”
“可是陛下……”
“如果再不主动平息事态，任凭京城议论下去，朕真成了那忘恩负义之辈，又如何树立威望？”
“臣明白。”
没过两天，齐泰又向建文帝报告了一件事情。
“陛下，交趾都司指挥同知吕毅来报，称交趾驻军军心不稳，安陆侯吴杰虽然没有和张辅一同撤军，但他手下的南海舰队也是军心不稳。”
“你有什么好的对策？”
“臣以为，当前秋高气爽，正适合大军征伐。如果陛下能亲征交趾，必定大大鼓舞交趾驻军士气，稳定军心。正好也让天下人看看，当今陛下是如何为大明开疆拓土的。”
“看来你早为朕做好亲征准备了？”
“臣已经吩咐下去，让工部工匠参照辽东军的样式，打造两千支迅雷铳，另外从更加忠诚可靠的府军卫和府军后卫中抽调一批骨干到羽林前后卫任职，大军一个月内就可以整装待发。”
“凡事豫则立，你这事办得漂亮。”
“臣以为，没有辽东军，在陛下的亲自指挥下，京军精锐照样可以稳定交趾局势。”
“好，你选个时间，朕就依你的，御驾亲征交趾。从今天起，你齐泰就是交趾都司指挥使，全权负责南征一事。”
“谢陛下隆恩。”
齐泰终于摇身一变，成为正二品的封疆大吏。
为辽王鸣不平的京军骨干都被他清理出京军。一个京军千户和两名百户成了倒霉鬼，被认定是私自揣摩圣意，弄坏了辽王的船只，最终被砍掉了脑袋，传送辽东，糊弄辽王。
八月底，当辽王和张玉在金州共商发展大计时，建文帝也在齐泰的怂恿下，开始筹备御驾亲征交趾。
尽管张辅在撤离之前，已经把交趾叛军消灭得七七八八，交趾五卫也基本组建完毕，不需要他这个皇帝亲征什么，但是，他还是想在即位之初，就抖一抖精神，同时也想向朝臣们证明：辽王会的，朕也会。
一个月后，为了给驻守交趾的明军打气，同时也是给自己打气，建文帝率领羽林前、后卫和府军卫、府军后卫共四卫京军精锐，浩浩荡荡南征交趾。
此时交趾形势比较平稳，建文帝在交趾呆了半个月，也就是象征性地接见了安陆侯吴杰等几个将军，和几个地方豪族代表，并未剿灭一个叛军。
但是皇帝陛下亲临，还是极大鼓舞了驻守在交趾的明军官兵士气，同时也彻底留住了正痛苦煎熬、左右为难的南海舰队司令、安陆侯吴杰。
在受到建文帝的召见和勉励后，吴杰最终答应，将率领南海舰队，继续协助交趾都司稳定交趾局势。
他也像平安一样，选择了效忠建文皇帝。