得到少量的兵力补充后，刘备立刻将矛头对准了荆州在江南的长沙、零陵、武陵、桂阳四郡，此时又有义阳人魏延带着部曲来投。魏延，字文长，出身义阳豪族，对曹操占据荆州不满，就趁曹军败于赤壁后募集乡勇于中庐作乱，却被徐晃击走，便带兵投向了自己慕名已久的刘备。
为显师出有名，刘备先是上表保举刘琦接替其父为荆州刺史，随后以他的名义带着赵云、魏延等南征江南四郡。武陵太守金旋、长沙太守韩玄、桂阳太守赵范和零陵太守刘度都是摇摆不定之人，也拿不出与刘备对决的勇气，纷纷不战而降。号称“荆南无敌”的黄忠正在长沙仕官归长沙太守韩玄统属，也随之一起降了刘备，被任为裨将军。
刘备夺下四郡后，曾背弃袁术自立的雷薄也带着万人前来归顺。原来一向聚众数万在江淮一带掳掠的雷薄、陈兰等人终于被曹操注意，派于禁和张辽前去讨伐。于禁军先到后攻击陈兰的部将梅成，却被诈降计所骗而轻率回军，梅成等于禁走后又复叛，并带兵入天柱山与陈兰合兵自守。陈兰还派人向孙权递送降书，请求救援。孙权遣韩当出兵，半途遇到臧霸阻截，双方在逢龙大战一场，韩当与臧霸阵前斗八十合不分胜负。韩当见正面无法突破，就领兵绕道夹石，被臧霸看穿后击破，只好退兵。而天柱山高峻路险，陈兰等避于其上，山下进军难通，虽没等来救兵倒也不至慌乱。张辽杀到后意欲进入天柱山追剿敌军，诸将皆说：“我军兵少而山路险狭，难以深入。”张辽却说：“这就是狭路相逢勇者进！”于是进至山下安营，随后起兵攻入山上，陈兰没想到张辽居然敢踏险而进，被打了个措手不及，与梅成两人先后被张辽讨取。正在六县用兵的雷薄得到陈兰败亡的战报后，自知孤掌难鸣，只好往荆南投靠刘备，领偏将军。
就在刘备全面接手四郡的同时，留在汉津的刘琦因病去世，部属们联名推举刘备为荆州牧。终于有了立足之地的刘备在油江口立营，改名公安，取意左公（即左将军）安营扎寨之地，并以此为治所。刘备命诸葛亮为军师中郎将，都督零陵、武陵、长沙三郡，调配赋税与军用；又命偏将军赵云为桂阳太守。
四郡既归刘备，不能复命的刘巴就想逃至交州，再绕道返还曹操处。在荆州时就仰慕刘巴之名的诸葛亮写信劝刘巴依附刘备，刘巴回信说：“我乘危历险，是想应天顺民，让荆州诸郡归顺曹公，使天下重归一统。可我终究左右不了世人的承天之心与顺物之性，如今道穷数尽，我再也管不了荆州的事了。”诸葛亮追书再劝说：“刘公雄才盖世，已据有南部四郡，众人莫不归心，天意人事已经分明，足下还想去何处呢？”刘巴回复道：“我受命而来，不成当还，更是分明，足下又何必过问呢？”最终刘巴还是远走交趾，刘备听说后也深感遗憾。刘巴到了交趾后又与太守士燮意见不合，于是经由牂牁道进入益州，改仕刘璋。
不过刘巴这样的人毕竟还是少数，重回荆州的刘备仍是得到了大批士族人才的追随，其中最出名的当属马良。马良字季常，襄阳宜城人，因眉中有白毛而被成为“白眉”。马良一门兄弟五人皆有才气，乡里为他们编有谚语：“马氏五常，白眉最良。”马良来投时，还带上了最小的弟弟马谡。马谡字幼常，才器过人，好论军计，在族中的才名仅次于马良，兄弟二人都被刘备用为州从事。
沅水横跨武陵，有支流雄溪、樠溪、无溪、酉溪、辰溪，此“五溪”地域中居有蛮夷，称“五溪蛮”。通晓荆州人情的马良自请出使五溪蛮各部，使他们认可了刘备的统治。其中有部落进贡给刘备一把长柄苗刀，号称可斩百人而无损伤，名“饮血刀”，被刘备转赠给了新投入麾下的猛将黄忠。
趁着孙曹两方拉锯之时，刘备夺城招兵，踏出了争雄天下的坚实一步。
本章结束