吕后是高祖贫贱时娶的妻子，生了孝惠皇帝和鲁元公主。等到高祖做了汉王后，娶了定陶的戚姬，戚姬受到了汉王宠幸，生了赵隐王如意。孝惠皇帝为人仁厚柔弱，高祖认为不像自己，想废掉孝惠皇帝的太子之位，改立戚姬所生的儿子如意为太子。
吕后年纪大了，经常留守关中，很少见到高祖，与高祖关系越来越疏远了。而戚姬受高祖宠爱，常跟随高祖到关东。儿子如意被立为赵王后，戚姬并不满足，常在高祖面前啼哭述说：吕后阴险毒辣，陷害多少诸侯王，皇上百年之后，我与如意落到吕后手里，还能有我们的好吗？还是废了现太子刘盈，立如意为太子，我们母子才会有生路。
高祖答应了戚姬，准备废了太子刘盈。高祖要废掉太子刘盈，立赵王如意为太子，很多大臣进谏劝阻，没有改变高祖的想法，吕后很是惊恐，不知道该怎么办。有人给吕后出主意说：留侯张良善于出谋划策，高祖也信任他，可以请留侯想想办法，一定能行。
吕后派建成侯吕泽胁迫留侯说：您是高祖的谋臣，现在高祖要废掉太子，您怎么不站出来说句公道话。
留侯说：高祖曾多次处于危急之中，采用了我的计谋，便转危为安，平定天下。但高祖要更换太子，这是骨肉之间的亲情，是家事，像我这样就算有一百人进谏，也不一定有效果。
吕泽不依不饶，一定要留侯出个主意。留侯说：这件事用口舌争辩没有用，应该用实际行动，来感染高祖。
吕译问：那得怎么办？
留侯说：高祖有四位最敬重的人，派人多次去请，却没有请动，四位高士回避了高祖。如果你能不惜金玉壁帛，让太子写一封言辞谦恭的书信，预备安车，再派有口才的人去恳切地聘请，他们应当会来。要把他们当贵宾对待，让他们时常陪太子入朝，叫高祖见到他们，高祖知道这四个人特别贤能，一定会对太子有莫大的帮助。
吕后派人携带太子的书信，用谦恭的言辞和丰厚的礼品，还真的把这四位世外高人请来了，就在建成侯吕泽的府邸为客。来协助太子刘盈。
随着高祖病情加重，也加速了更换太子的进程。留侯劝谏，高祖不听，叔孙通太傅死命争保太子，高祖只是假意答应，但并没有放弃更换太子的想法。高祖设置酒宴，想在酒宴上宣告太子更替事宜。太子在旁侍候，那四位高士站在太子身后。他们的年龄都在七十开外，须眉皆白，衣冠壮美奇特。高祖感到奇怪，问道：他们是干什么的？
四位高士向前对答，各自说出自己的名字，他们的名字分别是：东园公，角里先生，绮里季，夏黄公。
皇上于是大惊说：我访求各位好几年了，各位都逃避我，现在你们为何自愿跟随太子交往呢？
四人说：陛下轻慢士人，喜欢骂人，我们讲求礼仪，不愿受辱，所以才惶恐地逃避了。我们常听人说太子仁厚孝顺，谦恭有礼，喜爱士人，天下人都伸长脖子想为太子效力，因此我们就来了。
高祖说：烦劳诸位始终如一地保护好太子吧。
四位高士先后敬酒祝福高祖，然后小步快走离开了。高祖目送他们，召唤戚夫人过来，指着那四人给她看说：我想更换太子，可是靠他们四个人的辅佐，太子的羽翼已经丰满，很难改动了，吕后真的是你的主人了。
戚夫人痛哭不止，知道今后不会有好日子过了。高祖宽慰戚夫人说：来你为我跳楚舞，我为你唱楚歌。高祖唱道：鸿鹄高飞，振翅千里，羽翼已成，翱翔四海。
高祖唱的很悲伤，戚夫人流泪抽泣，陪着高祖离去。酒宴结束了，高祖没有更换太子，是留侯招致四位高士发生了效力。
因为戚夫人受到了高祖的宠爱，又想废除刘盈的太子之位，立赵王如意。所以戚夫人母子成为吕后最仇恨的人。因此，高祖一去世，吕后便命令永巷令把戚夫人囚禁起来，并下诏令命赵王如意进京。
使者连去三次，赵国丞相建平侯周昌对使者说：高祖把赵王托付给我，因为赵王年纪还小，听说太后怨恨戚夫人，想把赵王
