徐怀玉初仕唐为右龙虎统军领六军之士赴泽州寻为晋军所攻昼夜穴地而入怀玉率亲兵逆战于队中晋人遂退太祖开平二年除晋州刺史其秋晋军大至以乘其墉怀玉选亲兵五千余人拥杀下城晋军遂退。