荀伯玉初为太祖冠军刑狱参军太祖为明帝所疑及征为黄门郎深怀忧伯玉劝太祖遣数十骑入魏界安置摽榜，于是魏游骑数百履行界上太祖以闻犹惧不得留令玉卜伯玉断卦不成行而宋明帝诏果复太祖本任繇是亲侍后为太祖骠骑中兵参济阳太守霸业既建伯玉忠勤尽心常卫左右加前军将军随太祖太尉府转中兵将军太守如故建元元年封南丰县子四百户转辅国将军武陵王征虏司马。