卢绾绝不想去长安 ， 而且他的怨言都被审食其所查获 ， 实事求是地向刘邦报告 。 恰在此时 ， 刘邦又听说了张胜在匈奴为卢绾联系勾结陈豨的事情 ， 他不禁凄凉地感叹道：“果然 ， 就连卢绾也造反了 。 ”于是 ， 只好罢免了卢绾的王位 ， 命令樊哙前去进攻 。

之后 ， 他对此事不再说一句话 。 直到死 ， 都保持了绝对的沉默 。

不久 ， 刘邦的病情恶化 ， 在长乐宫去世 。

这时的卢绾正带领数千骑兵在塞下驻营 ， 他本想等待刘邦病好后 ， 便去长安请求原谅 ， 可等到的却是刘邦驾崩、吕后专政的消息 。 绝望的卢绾泪流满面 ， 朝向长安哭祭 ， 投奔匈奴去了 。

对晚年的刘邦而言 ， 最痛苦的事情只有两件 ， 一件是废立太子未能成功 ， 他深知这一定会造成戚夫人和刘如意无可避免的悲剧 。 按照吕后的性格推断 ， 刘邦几乎不敢去想像这件事 。 另一件就是卢绾的背叛 。