杨鎬面对水陆两方皆处被动的局面，他选择了继续进攻，首先传令各营造火炬备夜战，而后又重新调整了兵力部署。
右协继续围困岛山并预备攻城事宜，同时加派李时吉和成允文增援箭滩的摆塞、颇贵，这样就能在北岸由西向东形成三个防守区域：摆塞、颇贵应对箭滩南山的援军；李如梅、解生在箭滩和倭城之间防范倭寇由江上登陆；吴惟忠、茅国器在岛山城下的太和江北岸与东川西岸设防。
至于祖承训和南岸明军，自倭寇船只封江伊始，这部分明军只有听天由命了，否则只能是弃子。同样还有西江口的卢继忠，东面四里是倭寇盐浦据点，距西面庆州撤退方向有二十二里之遥，但随时都能被江上水师登陆所截断。封江之后，卢部同样也与岛山城下的联军本部失去了联系，没人知道西江口到底发生了什么。
岛山城内的‘饿殍’们，大概知道再过一两天，他们就能得救，强大的求生意志支撑着每个人。而且围城围到现在，明军的防守早就松懈下来，‘使节’能每日自由进出城内城外，不断给城内传递着消息。
明军的防守就像个筛子，处处都是漏洞，却无人在意。
四日零时，一切准备就绪的右协在杨鎬指挥下，最后一次对岛山发起了大规模进攻，战斗一直持续到黎明，其惨烈程度如同二十五日的那场战斗。
但气势却相差万里，明军苦于艰苦的野外条件，围城十多日，士气早就一落再落，反之城内的加藤部众，因为强大的求生欲望支撑反而越战越勇。他们不惜耗尽所有的储备弹药，弹丸如雨一般射到城下，联军伤亡惨重，即便这样，也依然没能登城成功。
杨鎬也急了，挥刀先斩退缩的士兵，而后又把畏战的保定游击李化龙绑于军前以正军法。诸兵营见此，只能冒死进攻。
交战之际，城中又传出伪书，假称会有几万大军前来救援，右协得其书后报与杨鎬和麻贵。两人见四周情景，江面、陆上倭寇的旗帜四处飘扬，竟深信不疑。再看他们手下的将士，饥饿疲惫，士气低落……若再不退兵，恐真的要被包夹。
此时尚未决出胜负，但杨鎬知道，明军已经败了，而且还是一败涂地。最终他决定撤兵，接伴使李德馨还努力劝说杨鎬放弃撤兵想法，但打脸的是，早在联军还在战场上占尽优势的时候，朝方趁乱逃走者就已过半，如今李德馨还慷慨激昂的劝说明军留下……杨鎬岂会听他慷慨激昂的废话？
到了正月初四，杨鎬下令攻城部队全部撤出战斗，准备撤军事宜。巳时初，命令正式下达下去，全军开始渐次撤退。伤病先由东路向庆州先行撤退，同时还要设法将才运至蔚山的军粮全部转运回庆州，实在带不走的要全部烧掉。
此外，杨鎬还安排箭滩北岸的摆塞、颇贵，城西的李如梅、解生领骑兵准备殿军，还加派杨登山的游骑协助摆塞。同时，箭滩南岸的祖承训部、吴惟忠部、西江口的卢继忠部已成弃子，根本无力救援。https://
城上的加藤部众首先发现了城下围城的明军向北面山中撤去，这一刻，他们内心应该狂喜不已，终于侥幸活了下来。
未时末，鹤城山的明军本部撤下，包括岛山城下的吴惟忠、茅国器部兵均已依令撤下，唯独箭滩南岸的明军，杨鎬连传令都未传。
撤退的同时，杨鎬还一再查看余粮是否已烧尽，盔甲辎重等物是否已焚烧，待打扫完战场，殿后的骑兵也追上时，已是申时。
而驻足于南岸的倭寇援军先前并未发现明军已撤，直到察觉鹤城山上的明军本部已撤，焚烧的烟雾四起，才恍然醒悟，这才开始救援战斗。
而在箭滩南岸的明军，在祖承训带领下，竟出乎意料的抢先向南山上的倭军发起攻势。即便他们已沦为弃子，仍然在忠于使命与敌搏杀。一番厮杀下来，南山二、三番队援军就这样生生被已成弃子的明军拖住而无法渡江。
在倭城对岸一番队的黑田长政，蜂须贺作为先锋，本应渡江开始救援，然而两人却十分畏惧明军，迟迟不敢行动。黑田两人的畏战，让在后方立阵的吉川有些看不下去，想自己做先锋，不料却被同行的安国寺责备不依军令。吉川立马反驳，之后他便率部渡河先登。
有了带头的，一番队终于行动起来，在船队配合下北渡太和江，与他们几乎同时渡江的还有在东川西岸的船队。岛山城内的‘饿殍’们苦苦支撑了十数日，终于见着了黎明前的一丝曙光。
用尽最后一丝力气打开城门，然后嘶吼着，像疯子一样冲出城，对滞后的明军展开最后的生死一击——要么死，要么活！
其实这时明军的大部已经撤离，对于城下太和江岸的守备更是松懈，殿后明军本来面对的就是三面夹击，这刻也只是稍作抵抗就被突破了防线。
吉川率先在太和江北岸站稳脚跟，并未就此停下，而是继续向东北方的兵营城迂回，随即又进驻此地，切断了联军向东的退路。
由此也逼得杨鎬改变路线，他本想从兵营城渡过东川向庆州撤退。如此一来，就只能选择西退，但江面上的倭寇船队又趁机登陆，持铁炮向明军追击。
好在后面赶到的摆塞、杨登山带着骑兵反冲锋，先射杀了几名，这才让倭寇的追击停止，摆塞又连斩八枚首级，余众顿时慌乱不已，被摆塞等人一路驱赶着重新回到船上。