刘备在东平陆城下百般挑战，曹操只是不理。虽然心中知晓这次难以消灭曹操，总是不甘心，又迁延三日。这一日却又收到一则坏消息，已经不是简单退兵的问题了。
原来，袁绍伤势略微好一些后，便派沮授督文丑、张郃等率兵威胁张飞、田楷，做出渡河南下之状，张飞、田楷不敢动；袁绍却暗中派朱灵率兵两千自禹亭渡河，至东郡与曹操留守东郡的谋士程昱汇合，听从其计，潜行至东阿。
管亥当日受命奔袭苍亭津，轻松将渡口攻下，放火焚毁，又回到东阿，与左黑虎汇合，扎了两座大营，互为犄角，监视东阿。东阿被刘备猛攻三日后，损失也不小，守兵不到千人，管、左二人有兵两千多，足以应对。
朱灵听从程昱建议，入夜突袭左黑虎大营，东阿令枣祗领兵出战，里应外合，大破左军，左黑虎死于乱军之中。朱灵、枣祗乘胜攻击管亥，管亥军乱，率数百人弃营走，无法渡过瓠子河，沿河南下，一路狼狈逃到范县南，才摆脱追兵，向东依次渡过瓠子河和济水，来到寿张。受命守寿张的陈禄收留管亥败兵，派人将送管亥至刘备大营。
刘备不怕公孙度、不惧青州内乱，就怕袁绍腾出手来南下。如今袁绍一部已渡河，其主力还会远吗？若其大军南下，与曹操夹击刘备于东平，则大事去矣。历史上袁绍一直率主力与公孙瓒死磕，一直到公元一九九年才真正腾出手来南下，其间虽然也有袁谭略青州、朱灵助曹操讨陶谦，但投入兵力毕竟不多。而现在不仅有袁谭、朱灵，而且还有文丑、张郃兵力，远超历史上之投入。这是因为刘备引起袁绍的忌惮了吗？
管亥、左黑虎若能守住东阿，刘备还不惧，因为张飞、田楷可以抗住文丑，袁绍军一时无法过来。但朱灵入东阿，与枣祗合力，就成了最后一根稻草，朱灵既可以北上攻击张飞后背，又可以南下威胁自己粮道，形势对自己大不利。
刘备严责管亥，治其败军之罪，将其贬为都伯，留在典韦部下听用。管亥既惭惧又不甘，憋着一股劲要戴罪立功。
刘政、刘晔等皆劝刘备退兵。一日后刘备先前派往陶谦、袁术处的使者先后回来。前往陶谦处的使者报告道：“陶公言道，若将军直击山阳，其愿提兵来会。”刘备问道：“陶公不肯提兵到东平来么？”使者摇头道：“陶公未接下吏此问，顾左右而言他。”刘备目视刘政、刘晔道：“陶恭祖果怀他志！”
前往袁术处的使者面带愤懑和屈辱之色，向刘备道：“袁公路非但不肯来会，且出言不逊，下吏与之争，却为其所逐。使将军受辱，下吏罪该万死，请将军治罪！”刘备细问究竟。原来袁术见到刘备使者后，一脸不屑，傲然道：“刘玄德名声不彰，德才不显，而敢号令于吾乎？吾家四世三公，吾现为后将军，位高于刘玄德，盟主当仁不让。刘玄德若有意相从，可先破曹操以自效，吾自取兖州足矣。”
听了使者转述袁术之言，刘政、刘晔等皆愤怒，刘备道：“袁公路志大才疏，眼高手低，豚犬之属耳，吾早该料到其如此行径。”决定退兵。