其实褚燕之所以看到轻骑兵出现伤亡之后便马上退兵，是因为老刘在他带兵出营之前，曾经向他交待过，今天攻城的主要目的是震慑城中的匈奴士兵，让他们知道轻骑兵的厉害，不能让轻骑兵出现大量伤亡。因此他才在开始的时候尽展轻骑兵所长，一上来便消灭了近千名匈奴士兵，但是不管怎么说，只要攻城就必然会有伤亡，而且如今是匈奴人守城，占了地利，因此汉军如果强行攻城，也不是攻不下单桓城，但是估计即使攻下了单桓城，轻骑兵的伤亡也会不小，因此褚燕才让已经过了护城河的轻骑兵马上退回来，等他们回到高平等人身后，褚燕命令高平带着那一千名轻骑兵继续用连弩和标枪向城墙上的敌人发动攻击，他已经看出了城中的匈奴士兵并不是很多，因此只要汉军躲在他们的弓箭射程之外，用连弩和标枪攻击敌人，就会逐渐消耗敌人的兵力，使得城中的匈奴骑兵不断的减员，这样汉军在最后敌人的兵力消耗的差不多时在发起致命一击，单桓城必可一鼓而下。
看到汉军故技重施，呼衍青急忙指挥匈奴士兵继续按照刚才的方法，城墙上留下的少量士兵都躲在墙垛下边，监视城外汉军的动静，而其他士兵则全都撤到城墙下边比较安全的地方，这样即使汉军的攻击再猛，匈奴士兵的伤亡也会比刚受到这种方式的攻击时少的多。
看到城墙上的匈奴士兵都躲到城墙下边去了，褚燕便指挥汉军再次渡过护城河，竖起云梯向城墙上发起了第二次攻击，而匈奴士兵有了第一次胜利的经验，因此也不再向开始的时候那么惧怕汉军了，这次他们的防守做的更好，轻骑兵同样在丢下了几十具战死士兵的尸体之后，再次撤回到了城外的安全地带。
经过了两次的攻防之后，时间也已经到了中午时分，褚燕看看单桓城也不是能够轻易攻下来的，于是便带着轻骑兵返回了大营，先让轻骑兵吃饱了肚子之后，下午再接着攻打单桓城。
结果到了下午，汉军故技重施，仍然用上午的方式来进行攻城，虽然这次比上午的战果要好一些，曾经有几个轻骑兵竟然顺着云梯爬上了城墙，只是由于呼衍青亲自带着他的亲兵与城墙上的匈奴骑兵拼死攻击，才把轻骑兵的攻势挡了下来，而呼衍青自己也受了轻伤，等到了傍晚时分，汉军停止了攻城之后，呼衍青派手下的一名千夫长去清点了一下如今城中士兵的人数，结果经过一天不算激烈的战斗，原来的五千名匈奴士兵如今还剩下三千人，另外根据千夫长的统计，他们今天也消灭了大约二百多名汉军。
虽然两军的伤亡人数悬殊，但是呼衍青也知道这主要是由于刚一接战时汉军的那两种武器所造成的，毕竟匈奴士兵从未见过那些武器，因此才会出现较大的伤亡，后来的战斗由于自己指挥得当，死伤的士兵就比开始的时候少得多了，能剩下三千人也算不错了，于是呼衍青让大家赶紧休息吃饭，等到了子时，他便带着这些人弃城而逃，去追赶呼衍王单于的大队人马。
城外的老刘和戏志才早已经知道了城中匈奴人的打算，前天晚上汉军的探子便发现大部分匈奴人已经逃离了单桓城，队伍中的老人、妇女和孩子也不少，因此老刘和戏志才得到消息后，便知道这是匈奴人打算继续向西逃跑了，这也正中老刘的下怀，因此老刘和戏志才商量了一下，决定不去追杀他们，毕竟给他们留下一定的实力，也便于他们将来在西方的生存，至于城中剩下的那些士兵，今天通过双方几次拉锯式的攻防战，也被轻骑兵消灭了不少，估计剩下的那些匈奴士兵今晚也该撤退了，戏志才本来还想建议派一支队伍去他们逃跑的道路上设下埋伏，将其一网打尽，但是后来一想老刘所说过的话，还是给他们留下了一条生路，所以戏志才最后也没有把这个主意说出来，也正因为如此，才令呼衍青带着的三千匈奴士兵当晚顺利逃出了单桓城，然后趁着夜色消失在通往西方的道路上。
第二天一早，老刘派文丑先带着几名亲卫队员况如何？文丑听说就让他带几个亲卫队员前去单桓城打探消息，不禁对老刘道：“主公，昨天保安他们可是带着三千人攻打了一天，也没有打下单桓城，今天您让我就带几个人去，您就不怕我这一去就回不来了？”
老刘和他身边的戏志才差点儿都笑出来，还是戏志才道：“文将军，主公让你带几个人去，自然有他的道理，如果我猜的不错的话，现在单桓城已经成了一座空城，因此主公才会放心让你前去打探消息，你就不要担心了，赶快去执行主公的命令吧，如果你进入单桓城了，没准主公一高兴，便把攻下单桓城的功劳记在你的头上了。”
听戏志才这么一说，文丑才明白了其中的原委，于是便急忙告辞了老刘和戏志才二人，然后出了大帐，叫上几名亲卫队员跟着他一道，前往单桓城打探消息。
虽然戏志才给文丑交了底，但是文丑还是有些不放心，因此几人小心翼翼的接近了单桓城，果然城墙上已经看不到有匈奴士兵在把守，也没有任何人向他们放箭，到了城门处，文丑派几名亲卫队员从昨天轻骑兵搭在护城河上的梯子上过了护城河，然后再把云梯竖起来，爬上了城墙，果然没有受到任何的阻拦，看来城中的匈奴士兵是真的跑了，等亲卫队员从城上把吊桥放下来之后，他们又下了城墙把城门打开了，文