吕后是高祖贫贱时娶的妻子，生了孝惠皇帝和鲁元公主。等到高祖做了汉王后，娶了定陶的戚姬，戚姬受到了汉王宠幸，生了赵隐王如意。孝惠皇帝为人仁厚柔弱，高祖认为不像自己，想废掉孝惠皇帝的太子之位，改立戚姬所生的儿子如意为太子。

吕后年纪大了，经常留守关中，很少见到高祖，与高祖关系越来越疏远了。而戚姬受高祖宠爱，常跟随高祖到关东。儿子如意被立为赵王后，戚姬并不满足，常在高祖面前啼哭述说：吕后阴险毒辣，陷害多少诸侯王，皇上百年之后，我与如意落到吕后手里，还能有我们的好吗？还是废了现太子刘盈，立如意为太子，我们母子才会有生路。

高祖答应了戚姬，准备废了太子刘盈。高祖要废掉太子刘盈，立赵王如意为太子，很多大臣进谏劝阻，没有改变高祖的想法，吕后很是惊恐，不知道该怎么办。有人给吕后出主意说：留侯张良善于出谋划策，高祖也信任他，可以请留侯想想办法，一定能行。

吕后派建成侯吕泽胁迫留侯说：您是高祖的谋臣，现在高祖要废掉太子，您怎么不站出来说句公道话。

留侯说：高祖曾多次处于危急之中，采用了我的计谋，便转危为安，平定天下。但高祖要更换太子，这是骨肉之间的亲情，是家事，像我这样就算有一百人进谏，也不一定有效果。

吕泽不依不饶，一定要留侯出个主意。留侯说：这件事用口舌争辩没有用，应该用实际行动，来感染高祖。

吕译问：那得怎么办？

留侯说：高祖有四位最敬重的人，派人多次去请，却没有请动，四位高士回避了高祖。如果你能不惜金玉壁帛，让太子写一封言辞谦恭的书信，预备安车，再派有口才的人去恳切地聘请，他们应当会来。要把他们当贵宾对待，让他们时常陪太子入朝，叫高祖见到他们，高祖知道这四个人特别贤能，一定会对太子有莫大的帮助。

吕后派人携带太子的书信，用谦恭的言辞和丰厚的礼品，还真的把这四位世外高人请来了，就在建成侯吕泽的府邸为客。来协助太子刘盈。

随着高祖病情加重，也加速了更换太子的进程。留侯劝谏，高祖不听，叔孙通太傅死命争保太子，高祖只是假意答应，但并没有放弃更换太子的想法。高祖设置酒宴，想在酒宴上宣告太子更替事宜。太子在旁侍候，那四位高士站在太子身后。他们的年龄都在七十开外，须眉皆白，衣冠壮美奇特。高祖感到奇怪，问道：他们是干什么的？

四位高士向前对答，各自说出自己的名字，他们的名字分别是：东园公，角里先生，绮里季，夏黄公。

皇上于是大惊说：我访求各位好几年了，各位都逃避我，现在你们为何自愿跟随太子交往呢？

四人说：陛下轻慢士人，喜欢骂人，我们讲求礼仪，不愿受辱，所以才惶恐地逃避了。我们常听人说太子仁厚孝顺，谦恭有礼，喜爱士人，天下人都伸长脖子想为太子效力，因此我们就来了。