生而为人，不如意之事，十之八九。
汉高帝十二年冬（公元前196年11月），在刘邦返回长安（今陕西省西安市西北）后不久，陈豨再度南下，结果被樊哙率军围攻，被樊哙所部将士公孙耳追击，在灵丘（今山西省大同市灵丘县）将陈豨斩首，陈豨叛乱带来的风波至此平息。
与此同时，卢绾对辟阳侯审食其，御史大夫赵尧的到来十分紧张，死活不肯跟二人见面。
私下里，卢绾对自己的亲信说：“现在天下的异姓王，只有我和长沙王吴回了。去年春天朝廷族灭了淮阴侯韩信，夏天又诛杀了彭越，这都出自吕后的计谋。现在皇上生病，政事都由吕后来决断，吕后专门想要找借口诛杀异姓诸侯王和功臣，这时候决不能被使者抓住把柄。”
然而，卢绾的话最终还是传到了审食其和赵尧的耳朵里，也被他们转达给了刘邦，再加上从韩王信手下降将那里听到的张胜勾结匈奴的传闻，刘邦无奈地感慨道：“卢绾果然是造反了啊”。
但是，刘邦此时身体已经大不如前，在平定英布叛乱时再度中箭，让他的身体元气大伤，因此，汉高祖十二年（公元前195年）二月，刘邦派樊哙为主帅，攻打燕国。
意外的是，没过多久，刘邦却突然让周勃接替樊哙，召樊哙回长安。卢绾无力抵抗周勃的猛烈进攻，只能逃到匈奴的地盘避难。
为了瓦解卢绾的势力，刘邦专门下诏：“燕王卢绾和朕是老交情，朕关爱他就像关爱自己的孩子，听人说他和陈豨私下谋反，朕以为不会有，所以才派人去迎接他，但卢绾称病不来，谋反的态度就很明显了。燕国的官员和民众并没有罪，赏赐官员六百石以上的爵位各一级。和卢绾一起的叛离然后回归的人，一同赦免，加爵一级。”
听说刘邦的诏书后，卢绾知道刘邦还是顾念旧情，于是他带着家属、宫人、亲信等数千人马，在长城附近等候，希望刘邦病愈之后，亲自到长安谢罪。
刘邦自觉时日无多，改立太子的意愿愈发强烈，众人反复劝说都无效，吕后不得不逼张良出马，向来对张良言听计从的刘邦，这次却决定固执己见，坚决不听。
在刘邦的酒宴上，太子刘盈带着商山四皓一同出席，他们的年龄都已八十多岁，须眉洁白，衣冠非常壮美奇特，造型相当拉风。
刘邦一看就很好奇，于是就问太子：“他们是干什么的？”
四个人上前回话，各自说出姓名。
刘邦一听差点儿惊掉下巴，说道：“朕几次派人拜访，各位都逃避着朕，现在你们为何愿意跟随太子呢？”
四人都说：“皇上轻慢士人，喜欢骂人，我们讲求义理，不愿受辱，所以避之不及。我们私下闻知太子为人仁义孝顺，谦恭有礼，喜爱士人，天下没有不愿意为太子拼死效力的，因此我们就来了。”
刘邦一听，就知道大势已去，自己再也无力撼动太子后面那股庞大的势力了，只能无奈地说道：“既然如此，那就烦劳诸位尽心竭力辅助好太子吧。”