杨素为仆射开皇中以华阴多盗贼妙选良吏素荐殿中局监荣毗为华州长史世号为能素之田宅多在华阴左右放纵毗以法绳之无所宽贷毗因朝集素谓之曰：素之举卿适以自罚也。毗答曰：奉法一心者但恐累公所举素笑曰：前者戏耳卿之奉法素之望也。又李百药为太子舍人或有谮百药者乃托疾免去后追赴仁寿宫素与吏部尚书牛弘并重之奏授礼部员外郎。又李子雄为大将军历郴江二州刺史并有能名仁寿中坐事免汉王谅之作乱也。炀帝将发幽州兵以讨之时窦抗为幽州摠管帝恐其有贰心问可任于素素进子雄授上大将军。