刘备听说袁术来犯，整顿军马准备迎击，陈群献计说：“袁术兵多将广，不倾尽全力难以与其对抗，可若是如此，难防吕布或是泰山诸将等州内势力乘虚而入。不如先避其锋芒，等袁术攻入徐州威胁到各方势力后，再号召他们一心抗击外敌，这样不仅能去除内忧，还能平添不少助力。”不过刘备没有听从，说：“我之所以能入主徐州，是因为州吏及百姓相信我能带领他们在乱世生存下去。如今敌人大兵压境，我若不冲锋在前有所作为，岂不是上负陶恭祖重托，下寒百姓之心？”于是刘备派张飞守下邳，自己则将兵前往盱眙、淮阴一带阻击袁术。
下邳相曹豹对刘备的安排颇为不满，觉得刘备在有意边缘化陶谦的旧部，便在公开场合多次对张飞不敬，私底下更是口不择言。张飞正苦于不能服众，就准备拿曹豹开刀，陈登担心下邳大乱劝其以大局为重，张飞却说：“此人怀有二心，必须尽早除去。”然后他不顾陈登的阻拦暗中调兵准备突袭曹豹的军营。曹家毕竟在徐州根深蒂固，眼线密布，张飞这边才刚行动就有人向曹豹告密。曹豹见局面到了不死不休的地步，就一面在营中布防坚守，一面派人去找自己的女婿吕布来救。
此时驻扎在小沛的吕布刚收到袁术的来信，劝其乘机袭下邳，答应事成后援助二十万斛粮草。吕布正犹豫是否要相助袁术，就收到了曹豹的使者带来的消息，吕布大喜，觉得是天意让其夺下徐州，便率军水陆并进。下邳城中，曹豹苦苦守了一夜，终于还是被张飞攻破了大营，他本人也力战而死。城中经此一战后一片大乱，徐州旧部人人自危，战斗力最强的丹阳兵更是直接表态不愿再听张飞号令，就连陈登出面安抚都无济于事。
吕布军队抵达下邳西四十里时，下邳城中的中郎将许耽派人前来迎接吕布，向吕布透露了曹豹已死和下邳城内大乱的消息，并告知已联络好了丹阳兵让他们都在西门内等待吕布的到来。吕布恐事久生变，立即加速进军，于凌晨抵达城下。天色微明，丹阳兵就打开了城门，吕布军鱼贯而入，在城内放火制造混乱。张飞连日带兵镇压叛乱，已是焦头烂额，见又有外敌入城，只得匆忙前去堵截，正好与先登入城的高顺相遇，二人大战了三十合难分高下。张辽率领后续部队入城后也来相助高顺，张飞面对两人夹击不敢恋战，往城门突围，却见吕布亲自扼守西门。张飞恨得咬牙切齿，挺起蛇矛杀了过去，二人激斗了百余合谁也占不得上风。张飞见胜不了吕布，只得返身往南门退去。吕布在后掩杀大破张飞军，后者仅带着百余骑逃走。
刘备的妻小和部下将士们的家人均被吕布军俘获，大批军资也都落于敌手。陈群觉得刘备屡屡不接受自己的建议导致危局，难成大事，便干脆与父亲一起投入了吕布麾下。陈登为了保护刘备的妻小，在名义上也改属吕布，不过内心仍在思索如何将其赶离徐州。
刘备与袁术僵持了月余，互有胜负，正待要集中兵力进行决战时，却见张飞带着残兵和下邳失守的消息落魄而来。关羽听了大惊，忙问：“下邳丢失，那主母身在何处？”张飞傀怍道：“还陷在城内。”关羽气得大骂：“徐州大姓之间盘根错节，你守你的城去惹他们做什么？现在我们无处可归，主母也沦落城中，前有袁术，后有吕布，你说该怎么办？”边骂边作势要拿刀砍向张飞。刘备喝止了关羽，叹息说：“也不能全怪益德，是我自己不听文长之言才造成今日这番死局，现在只能趁袁术还没得到消息前快速回军下邳看看有没有机会夺城。”回军途中，因不少军士顾念家小偷偷逃入下邳，使得刘备军在中途就几乎溃散。刘备无奈放弃了重夺下邳的念头，收拾余军转而东取广陵，却在士气极度低落的情况下为袁术所败，只得逃亡海西暂驻，困顿至极。
除去关羽、张飞等旧部外，徐州官吏中只有糜氏兄弟还跟随在刘备身边。为了使刘备重新振作，糜竺和弟弟糜芳商量想要将妹妹嫁给刘备。糜芳反对说：“刘备现在朝不保夕，而我们是本地豪族，只要徐州在我们就能生存下去，谁当州牧并无所谓。一旦与其联姻，日后想抽身都不行了，为何兄长一定要将家族押在此人身上？”糜竺说：“刘备卓尔不凡，且心怀天下，即使袁公路、陶恭祖都不能与其相提并论。徐州是四战之地，岂是反复无常就能自保的？远的不说，就是先前若曹操攻占了徐州，我们难道会免受屠戮么？我既然认定了刘备为明主，自当荣辱与共，即便背井离乡四处流亡也在所不惜。”糜芳还想反驳几句，但见兄长目光锋锐、神色威厉，只得作罢。糜竺把此事与妹妹说了后，糜氏倒是欣然接受，说：“这刘备既然如此受兄长推崇，必是一位英雄，小妹平生无所好，独好英雄。”于是就在破落的海西城中，刘备迎娶糜氏为妻，大家都尊称她为“糜夫人”。
新婚的刘备没时间与娇妻缠绵，便要一心筹谋下一步的打算，经过数日的苦思与推演之后，刘备发现只有一个办法可以破局——回到下邳投靠吕布。当众人听到刘备说出这一大胆的决定后，一片哗然，刘备耐心解释说：“我与吕布并无深仇大恨，相反还对其有恩，未必会对我赶尽杀绝。袁术入侵，目标也不是我而是徐州，谁做州牧谁就将与袁术为敌，这个道理吕布肯定也会明白，所以他也需要我来当他的帮手。投靠吕布后，我们可以重新拥有栖身之所，获得喘息的时间为将来做打算，还能救回被困的家人，难道不是上策么？”
再说吕布派人去向袁术接收约定好的粮草，竟遭拒绝，气得他大发雷霆，骂道：“袁氏兄弟果然都是背信弃义的无耻之徒！”陈宫在一边说：“袁术狼子野心，挑唆我们攻打下邳也是为了便于他自己争夺徐州。现在温侯坐镇徐州，成了袁术的下一个目标，他又怎会来给敌人送粮食？”这时，刘备求和的消息传来，陈宫又说：“刘备此人能屈能伸，绝非甘心长久于人下之人，何不假袁术之手除去这个祸患。”吕布反对道：“现在徐州之力不足以与袁术全面开战，不妨接纳刘备以其为羽翼共同抗敌，等赶走袁术后再伺机将其除去。”吕布没有听从了陈宫的话，而是命人备下车马去迎接刘备，并将其妻小送还。吕布与刘备在下邳再次相见后，说：“攻城掠地，是乱世的生存之道，贤弟勿怪。”刘备欠身回应说：“温侯善待我的家人，备铭感五内。备素无大志，只求偏安一隅即可。”吕布以刘备为豫州刺史，遣其屯小沛，而自己则自称为徐州牧。
本章结束