刘备取得益州后根本不想归还荆州，孙权便趁刘备西征入川的时候，悄悄给妹妹写信谎称吴国太病重，想将孙夫人和阿斗骗到东吴，然后用阿斗换回荆州。好像来来回回就这么一条计策。孙夫人不辨真伪，匆匆携阿斗登船回吴国，诸葛亮派赵云勒兵断江留住了阿斗，只放孙夫人一人回东吴。孙夫人到了东吴后才知吴国太根本没有病。从此以后，孙夫人留在了东吴，被迫还是自愿不得而知，只是与刘备再也没有见面，他们的夫妻生活大约就持续了三年。

当初孙夫人虽然也有温存的一面，但日常倚仗兄长的势力不把刘备放在眼里，一向说一不二，不仅左右大将都怕她三分，刘备也不敢违怫。而且孙夫人从东吴带来一批吏卒，在蜀地纵横不法，谁都无法约束，好像是闺中的敌国，时刻还必须加以防备孙夫人手中的刀剑。等孙夫人回到了东吴，刘备回想起的只有那些提心吊胆的感觉，所以也不派使者去东吴迎接孙夫人。

刘备最后一位夫人吴氏是陈留人，少年时失去双亲，她的父亲一向与益州牧刘焉有旧交，因此举家随刘焉进入蜀地。刘焉心有异志，他听看相者说吴氏以后会大贵，便想纳吴氏为妾，但是苦于自己与吴氏的父亲是莫逆之交，与吴氏的辈分不相当，就只好让自己的儿子刘瑁娶了吴氏。刘瑁死后吴氏寡居。公元２１４年夏天刘备取得益州城，群臣劝刘备聘娶吴氏。刘备心疑自己与刘瑁同族在礼法上不妥。法正说：“若论起亲疏，您与刘瑁比得上晋文公与子圉的关系么？”于是刘备决定纳吴氏为夫人。吴氏虽然寡居再嫁，但艳丽不减当年，刘备重新领略了空旷已久的温柔滋味。

建安二十四年，刘备称汉中王，立吴夫人为汉中王后。章武元年夏五月，刘备称帝立吴后为皇后。