卢贲仕周为司武上士时高祖为大司武贲知高祖非常人深自推结宣帝嗣位加开府及高祖初被顾托群情未一乃引贲置于左右高祖将之东第百官皆不知所去高祖潜令贲部伍仗卫因召公卿而谓曰：欲求富贵者当相随来往往偶语欲有去就贲严兵而至众莫敢动出崇阳门至东宫门者拒不内贲谕之不去瞋目叱之门者遂却既而高祖得入贲常典宿卫后至怀州刺史。