刘贺被废为庶人，汉宣帝上台后，立刻派山阳太守张敞对刘贺进行严密监视，并随时汇报刘贺的情况，平常在干些什么，说了什么话，与什么人交往等等。当张敞把他了解到的情况详细向汉宣帝汇报后，《汉书》上记载：“上由此知贺不足忌。”就是说，汉宣帝认为刘贺用不着提防。
但是，汉宣帝虽然认为刘贺不值得提防，却实实在在地在提防他。元康三年(前63年)，汉宣帝把刘贺封为，享受四千食邑。表面是封赏，其实是把他转移到另外一个地方，这也就是封建社会的“徙封”。而且不久后，又削去了刘贺的三千食邑，只给他留一千食邑。同时，在这个过程中，监督刘贺的人，从来没有断过。刘贺在神爵三年(前59年)去世后，汉宣帝并没有让刘贺的儿子们继承爵位。这也是一种提防的表现。
那么，明知道刘贺毫无威胁，为什么汉宣帝还要提防他呢?
第一，汉宣帝是做给霍光看的。
汉宣帝上台以后，他要巩固自己的地位，不走刘贺的老路，最重要的，就是要示好霍光。要示好霍光，却又不能对霍光进行大肆的封赏。因为封赏越多，相当于给自己设置的障碍越多，将来要处理霍光的问题就更难。因此，在哪些方面示好霍光，就是汉宣帝需要考虑的。
汉宣帝在上位第二年的时候，曾极力主张给汉武帝上“庙乐”，这个做法，既是巩固自己的地位，其实也是示好霍光的表现。毕竟霍光是汉武帝作为辅政大臣留下来的。汉宣帝提防刘贺，显然也有示好霍光的意思。因为刘贺是霍光给废掉的。要知道，在古代，无论君王多么昏庸，臣子废君王，本身就是大逆不道的行为，是招人诟病的。汉宣帝提防刘贺，其实也就表明了态度，就是霍光做得没错。这让霍光心里安定了不少。
第二，刘贺是个没有定性的人。
霍光选了刘贺为什么又把他给废了?有人认为，是刘贺进京的时候，大肆培植自己的实力，又四处封赏施恩，让霍光忌惮。所以把刘贺做的那些事，都定性为干错事，因此把他给废了。但是，如果我们仔细分析霍光所列出的那些错误，会发现，这些所谓的错误，其实就是一种“无脑”的表现。也就是说，刘贺本人其实并没有什么思想，并没有想要刻意去夺霍光的权，他根本就没有独立的判断和思考。不过，恰恰是因为没有独立的判断和思考，因此很容易受人影响。这就使得刘贺没有定性，不可控制。正因为不可控制，所以霍光才一定要废了他。
汉宣帝对刘贺的看法，显然和霍光是一样的。从监督刘贺的人向汉宣帝反馈的情况我们就可以看出，刘贺确实没有定性，别人给他说什么，他就听什么。汉宣帝就最担心这点。尽管刘贺自己没主张，万一受人撺掇造反，可怎么办呢?
第三，刘贺可能成为一面旗帜。
刘贺自己没有本事，也没有什么思想。但是，只要刘贺存在，他就可能被别有用心的人利用，毕竟他曾经当过。对汉宣帝不满的人，肯定是有的。就算汉宣帝做得再好，依然有人不满他，要造他的反。造反的人，就会以刘贺为借口，以刘贺为旗帜，说刘贺是被冤枉的，是汉宣帝和霍光的阴谋，为他打，要重新把他推上皇位。这样的宣传，对一些人可能不起作用，对另外一些人则可能作用很大。这样，祸乱就起来了。
所以，提防刘贺，贬谪刘贺，就是避免这样的麻烦出现。
