6月5日凌晨，山本五十六命令近藤信竹和南云忠一停止炮击中途岛和夜袭美军航母的准备，和主力编队进行会合。山本五十六鉴于美军舰队已经东撤，与其进行水面舰艇决战的可能性已经不复存在，而且如果日军舰队继续东进，那么天亮之后必然会遭到美军舰载机和岸基航空兵的攻击。于是，在2点55分，山本五十六站在联合舰队旗舰“大和”号战列舰的舰桥指挥室里，满怀悲痛地向联合舰队发出了撤退命令：
一，撤销中途岛作战计划；
二，中途岛登陆编队和机动编队除“飞龙”号及其警戒兵力之外和主力编队进行会合，之后于6月6日午在北纬33度，东经170度海域加油；
三，警戒编队、“飞龙”号及其警戒兵力和“日进”号水飞机母舰也应该开往述地点；
四，运输编队向西撤退，摆脱中途岛美军岸基飞机的攻击范围。
这是大日本帝国海军自从165年明治维新以来，第一个宣布彻底失败的命令，而且更具讽刺意味的是，这个命令是由策划了偷袭珍珠港的大日本海军战神山本五**将亲自发出的。当初在开战之前，山本五十六狂妄地叫嚣着要一举歼灭美军航母，如今看来却只不过是一个天大的笑话而已。
对于山本五十六的这一决定，头脑发热、心急如焚的联合舰队参谋们实在接受不了，他们七嘴八舌地坚决要求继续进攻拿下中途岛。联合舰队的首席参谋黑岛龟人海军大佐甚至泪流满面、歇斯底里地叫道：“长官，‘赤城’号还没有沉没，依然还浮在海面。如果被米国人拖去当作战利品进行展览，那岂不是大日本海军的奇耻大辱吗？而且我们总不能用天皇陛下自己的鱼雷来击沉天皇陛下的战舰啊！”还有一个参谋甚至直截了当地问道：“就这样无功而返地撤回去，我们怎么向天皇陛下交待？”
联合舰队参谋们的这一番话，使得整个“大和”号舰桥指挥室里面的空气都立刻凝滞了，作战参谋渡边安次中佐在事后回忆道：“舰队的参谋们几乎个个喉咙哽咽，连气也喘不来。”山本五十六的心里或许也在哭，但是他的眼里没有泪水，整个联合舰队现在只有他才能作出这一决定，然而作出这个决定对他来说实在是太痛苦了，他连哭都哭不出来了。过了许久之后，山本五十六终于开口了，他的语调缓慢而沉重：“我自己曾经也当过‘赤城’号的舰长，但是现在我必须下命令将它击沉，我的心情也是万分遗憾。”接着他又继续说道：“全部责任都在我一个人身，我会亲自去向天皇陛下请罪。”
几乎就在山本五十六下达撤销中途岛作战命令的同一时刻，灾难又降临到了日军头。6月4日13点10分，近藤信竹根据山本五十六夜间炮击中途岛的命令，指派栗田健男海军少将指挥的第7巡洋舰战队的“熊野”号、“铃谷”号、“三隈”号、“最号”4艘重巡洋舰，以及第驱逐舰分队的2艘驱逐舰前去执行这一任务。当栗田健男接到炮击命令的时候，他的舰队距离中途岛还有400多海里，即使以32节的最高航速前进，也没办法在规定的5日拂晓前到达炮击地点。退一步说，即便栗田健男的舰队真的在预定时间到达指定位置，但是最终也必定需要在白天美军飞机的轰炸威胁之下撤退。不过联合舰队的参谋们直到4日深夜才发现这个错误，最后才通知粟田健男返航。
栗田健男遵照命令，转弯改为西北航向返航，但是不久之后，先头舰“熊野”号重巡洋舰在右舷处发现一艘美军潜艇，栗田健男立刻用灯光信号命令日军舰队紧急左转。但是走在舰队最后面的“最”号重巡洋舰却没有及时收到这一命令，结果一头撞了前方的姐妹舰“三隈”号重巡洋舰。“最”号前炮塔以前的舰首被部分撞掉，航速下降到12节，而“三隈”号也受了轻伤，不过作战能力和操纵性都没有受到太大影响。粟田健男决定留下“三隈”号和“荒潮”号、“朝潮”号2艘驱逐舰掩护“最”号撤退，自己率领其它日舰先跑了。
6月5日天亮之后，落在后面的4艘日舰自然而然地成为了美军飞机的攻击目标。中途岛美军根据“红石鱼”号潜艇的报告，派出12架“无畏”式轰炸机攻击了“最”号和“三隈”号2艘重巡洋舰。带队进行攻击的罗德尼?弗莱明海军尉在被日舰的高射炮火击中之后，驾驶着“无畏”式轰炸机直接撞向了“三隅”号，“三隈”号的日军官兵当时就呆住了，他们没有想到美军之中也有这么不要命的勇士。虽然日军的防空火力一刻也没有停歇，但还是没能成功阻止弗莱明尉。在舰日军的一阵惊呼声之中，弗莱明尉驾驶着“无畏”式轰炸机“轰”地一下，就撞在了“三隈”号舰尾的203毫米炮塔，引起一片大火。燃烧的火焰很快就蔓延到“三隈”号右油机室的进气出口，浓浓的黑烟被吸进了油机室，里面的日军全都被活活地给闷死了。
到了下午的时候，又有12架B－17“空中堡垒”式轰炸机从中途岛赶来，继续对日军舰队进行了攻击。或许是天怜悯这群小日本，美军投下的0枚炸弹居然无一命中。4艘日舰终于捡得一条性命，继续向西逃窜，逃出了中途岛岸基飞机的攻击半径。
6月5日清晨，美军特混舰队正在向中途岛疾驶，准备防止日军对中途岛的再次进攻。但是不久之后，斯普鲁恩斯少将就根据美军侦察机和潜艇的报告，察觉到日军已经放弃对中途岛的进攻，并且正在开始撤退。于是，斯普鲁恩斯少将当机立断，下令向西展开追击。点钟左右，从中途岛起飞的美军侦察机报告，在西北方向250海里处发现了日军舰队，其中有1艘航母这是当时还没有沉没的“飞龙”号和2艘战列舰。斯普鲁恩斯少将决定对这一目标进行攻击，但是由于距离较远，为了尽量缩短和日军舰队之间的距离，他下令特混舰队向西北方向全速前进，直到15点钟的时候才命令舰载机起飞。如果再推迟起飞时间的话，那么美军飞机就不能在天黑以前返回航母，到时候着舰时就必须打开探照灯，这将使美军航母很容易成为日军潜艇的攻击目标。
因为乔治在昨天进行的战斗中的出色指挥，已经表现出作为一名优秀指挥官的职业素养，斯普鲁恩斯少将对他极为欣赏，所以决定这次仍然还是让乔治带队指挥。乔治带领着从“企业”号和“大黄蜂”号起飞的5架“无畏”式轰炸机，急急忙忙地前往侦察机报告的海域，搜寻日军舰队的影踪。
然而这时候天公却不作美，当乔治带领着轰炸机群来到侦察机报告的海域的时候，天空中云层密集，能见度较低，乔治命令美军飞机低空搜索了一番，但是结果仍然还是一无所获。“没有发现日军航母，现在开始返航。”眼看飞机的燃料逐渐减少，日头也已经开始偏西，乔治只能心不甘情不愿地下令返航。
“中校，快看下面，是敌舰！”正当乔治为这次出击无功而返大感郁闷的时候，无线电里突然传来的后座飞行员史密斯尉的大喊却让他一阵激灵，急忙抬眼望过去，海面果然有1艘孤零零的日舰，就像是一片随波逐流的落叶一样，在波涛汹涌的太平洋中漂荡着。乔治看它的造型和尺寸应该是艘驱逐舰，不过蚊子再小也是肉啊，乔治现在可管不它是驱逐舰还是航母，哪怕就是艘小小的巡逻艇，只要是小日本的军舰，他就会毫不犹豫地扑去炸掉它。
“妈的，船的小鬼子，算你们今天活该倒霉，没找到航母只好拿你们开刀了，好好做个替死鬼！”乔治在心里恶狠狠地说道，接着通过无线电命令道：“菜鸟们，日本佬给我们送靶子来啦，拿出你们平时训练的效果让日本佬好好瞧一瞧！”攻击这样的单个小型没有多少危险的目标，是一个很好的练兵机会，于是乔治就只让那十几个在珍珠港事件之后才参军入伍的新兵去进行投弹。通过这样的实战机会锻炼，乔治希望他们能够尽快地成长起来，增强己方的战斗力。
这十几个小伙子没有辜负乔治的一片良苦用心，虽然在攻击的过程中还依然存在或多或少的问题，但是最终好歹还是把这艘日军驱逐舰给击沉了，而且自己也没有损失。“好了，菜鸟们，干得不错，没有让我失望，现在大家可以返航了。”乔治看到日舰已经被击沉，也就不再留恋，立刻指挥美军飞机返航。
然而，由于在攻击日军驱逐舰的时候耽搁了一段时间，返航之后的美军轰炸机遭遇了严重的考验。这时候天色已暗，只看得见航母飞行甲板的大概轮廓，如果没有灯光的指引后果将不堪设想。但是这一片海域又很有可能游荡着日军的潜艇，如果贸然开灯，那么整个航母舰队就有可能成为日军潜艇的攻击目标，斯普鲁恩斯少将也将因此而承担巨大的责任。但是斯普鲁恩斯少将更关心的是飞行员的安全，因为这批飞行员中的绝大部分都没有夜间着舰的经验，所以他毫不犹豫地下令打开了探照灯，方便轰炸机进行降落。
万幸的是这附近没有出现日军的潜艇，最终除了1架“无畏”式轰炸机在降落过程中坠海之外，其余的轰炸机都成功地安全着舰，而且落水的轰炸机飞行员也被护航的驱逐舰救了起来，并没有出现人员损失。