既然在刘备麾下和为曹操效力没有根本性的区别，如果丢掉了孝道又会导致身败名裂，从某种方面来说，徐庶还真的没有更多选择。
那么，刘备为什么没有强留徐庶呢？大致有三个原因。
一是刘备没有强留徐庶的理由。孝是当时最高的道德标准，徐庶过不去的坎，刘备同样不能违背。整个封建社会，只有皇帝可以“夺情”（父母死后的守孝），其他人没有这个权利，刘备这时候还不是皇帝，强留不符合情理。这样做就不符合刘备的初衷，一旦他这么做岂不是告诉世人他有异心，想要自己当皇帝，毕竟刘备当时喊的口号是恢复汉室，而不是自立为帝，毕竟这时候汉朝还在，皇帝还在；而等到后来曹丕篡位，刘备在“诸葛亮”等人的逼迫下称帝，若是他自己没有这想法，诸葛亮等人真的能逼迫成功，显然不大可能；
第二个原因说起来有些残酷，但是却是不得不说的事实，徐庶不算顶级人才，强留实无必要，反而若是因为强留徐庶害的徐母丧命，那刘备反而要背上骂名，那就得不偿失了，若是换成诸葛亮，刘备不一定会放人。徐庶的才能出众，不过那也要有对比的人。跟刘备原本的麾下如孙乾、简雍、糜竺等相比，徐庶的才能自然很高；但是，跟诸葛亮、郭嘉、司马懿这些人相比，那就是萤火之光跟皓月的区别了。曹丕的黄初中期，徐庶官至右中郎将、御史中丞。诸葛亮疑惑，这是魏国人才太多的缘故吗？如果说，《魏略》的记载不足信，但实际情况是，徐庶的确只是一个中才。徐庶将诸葛亮推荐给刘备，刘备见了诸葛亮，诸葛亮长篇大论了一番话，即所谓的“隆中对”，从此明确了刘备的战略思想和发展方向。一个在家“种地读书”的人能看清的天下大势，为什么一个“在职”的高参看不到呢？说到底就是才能的区别。
第三个原因，徐庶自己也说了，用徐庶自己的话说：“现今失去老母亲，我已经方寸大乱，留下来对您的事业也不会有什么帮助”，因此一个要走，一个难留。庶不能留在刘备阵营，从徐庶来说是限于情，而从刘备方面来说，则是迫于势，都是不得已。所以说，在情势方面，任何人都可能有迈不过去的坎。
基于以上的原因，徐庶离开刘备前往曹操阵营也就没什么好说的。或许有的人有疑问，当时离开刘备是情非得已，那么，徐庶到了曹操阵营之后，其母因此丧命，曹操可以说是间接的凶手，他又为何不离开曹操再次投入刘备怀抱，或许还能借此报仇。而徐庶自己也给出了解释，他已经背叛过刘备投到曹操麾下，已经不忠一次，他不想再次做个不忠之人，所以宁可在曹操麾下碌碌无为也不再次改变阵营。
那么，真实的原因是什么呢？
三国中有这样一个记载：却说玄德正安排礼物，欲往隆中谒诸葛亮，忽人报：“门外有一先生，峨冠博带，道貌非常，特来相探。”玄德曰：“此莫非即孔明否？”遂整衣出迎。视之，乃司马徽也。玄德大喜，请入后堂高坐，拜问曰：“备自别仙颜，因军务倥偬，有失拜访。今得光降，大慰仰慕之私。”徽曰：“闻徐元直在此，特来一会。”玄德曰：“近因曹操囚其母，似母遣人驰书，唤回许昌去矣。”徽曰：“此中曹操之计矣！吾素闻徐母最贤，虽为操所囚，必不肯驰书召其子；此书必诈也。元直不去，其母尚存；今若去，母必死矣！”玄德惊问其故，徽曰：“徐母高义，必羞见其子也。”玄德曰：“元直临行，荐南阳诸葛亮，其人若何？”
且看这段对话，司马徽说徐母必死，刘备问了一句原因之后，紧接着就询问诸葛亮这个人。或许，在刘备的眼中，成大事者不拘小节，他自然不会因为徐母这样的一个老妇人花费过多的精力。而别忘了，徐庶和司马徽二人是好友，这件事必然会落入徐庶的耳中，那么，徐庶不再回到刘备麾下，也就说的过去了。或许二人的想法一致，刘备麾下已经有诸葛亮了，那么，徐庶是否回来已经不是很重要了。
吴氏是心怀忠义之人，但是，并不代表她的才智同样过人。否则，无论是三国还是真实的历史上，吴氏在被曹操抓到之后的第一时间就会一死了之，而不是等到徐庶投到曹操麾下之后才丧命。
且说徐庶听到吴氏的询问，犹豫了片刻，他便直言说道；“母亲，孩儿心中有些许疑惑，故而无法释怀！”
“你且说来，看看为母能否为你解惑。”
父母在自己的孩子面前，历来都是一种顶天立地的形象，即便他们知道自己的父母有很多问题无法解决，但是，他们还是愿意将问题告诉父母。或许，他们并不一定需要父母给他们解答，只是希望有一个倾诉的对象。
“是！”
随后，徐庶没有保留，将袁常他们准备迎接天子的举动，以及准备推行新制度的想法给说了一遍，或许他明白吴氏不能给自己解惑，他只想倾诉一番，不想让这件事梗在心中，让他无法平静下来。
“原来如此！”
吴氏点了点头，明白了自家儿子为何会迷茫。也是，从小被教育忠义观念的徐庶，碰到这种事若是不迷茫那才奇怪了。想了想之后，吴氏说道：“吾儿，为母自小告诉你要心存忠义，你能谨记在心，为母很高兴。但是，你却是没能明白为