刘备跑到了梁地，正仓皇穷蹙的时候，曹操亲自督兵前来救他。救刘备是假，夺取地盘是真。曹军首先攻下了彭城，并将彭城的守兵平民全部杀戮一空，然后再引军进攻下邳。吕布作战失利，听信妻子严氏的话，又怀疑属下的谋士将领，导致将士离心，被部下侯成、宋宪、魏续出卖给曹操。这样刘备又找回了妻妾甘糜二位夫人。

建安五年曹操打败了刘备，甘糜二位夫人再一次被抢走，关羽也被擒。后来关羽听说了刘备流落到袁绍那里，遂带着二位夫人离开曹操回到刘备的身边。不过幼子阿斗在乱兵中窜匿西入汉中，被人贩子所卖。到了建安十六年，扶风人刘括避乱来到汉中，买到了阿斗。这时阿斗不知已经被卖了几次，估计是太傻的缘故，谁也不愿意养活他。刘括给他娶了媳妇，还生下一个儿子。起初阿斗与刘备失去联系时，还记得父亲叫玄德。邻居简雍后来依附了刘备，并告诉他阿斗的下落。于是刘备遣简雍到汉中寻找阿斗，张鲁知道后给阿斗洗了个澡送还给了刘备。

这件事鱼豢的《魏略》有记载，但不知是否可信，裴松之虽然对《魏略》作了辩驳，但鱼豢搞错的可能只是人的名字，并不能否认事情的存在，也就是说刘备还有一个史书上没有记载的儿子。因为阿斗的生母甘夫人并不是第一个正室，在她之前刘备还死了几个夫人。不过这已经是后话了。

甘糜二位夫人还算幸运的。据说刘备落难的时候，几天没吃到一粒米。一天他来到刘某的家里，见面刚报完中山靖王刘胜的名号就饿晕了过去。醒来后刘某端来一盘肉，刘备饥不择食囫囵吃了下去，见刘某的家里也十分贫寒，就问肉从哪里来的，刘某说刚才把自己老婆宰了给中山靖王下酒。原来这个刘某还以为刘备是中山靖王，不知道中山靖王是几百年前的死人，他琢磨着杀了自己老婆给中山靖王吃肉，中山靖王感激不尽一定会重重报答他，到时候美妻娇妾还少的了么？刘备一听也不敢说自己不是中山靖王，抽了个冷脚底抹油跑了。