杨素仕周武帝时为车骑大将军从齐王宪与齐人战于河阴以功封清河县子邑五百户及高祖为丞相素深自结纳高祖甚嘉之以素为汴州刺史行至雒阳会尉迟迥作乱荣州刺史宇文胄据武牢以应迥素不得进高祖拜素大将军发河内兵击胄破之迁徐州总管及伐陈为行军元帅率水兵东下陈主遣其信州刺史顾觉镇安蜀城荆州刺史陈纪镇公安皆惧而退走巴陵以东无敢守者湘州刺史岳阳王陈叔慎遣使请降。又为内史令以浙江贼帅高智慧等未殄复乘传至会稽先是泉州人王国庆南安豪族也。杀刺史刘据州为乱诸亡贼皆归之自以海路艰阻非北人所习不设备素泛海掩之王国庆惶遽弃州而走余党散入海岛或守溪洞素分遣诸将水陆追捕乃密令人谓国庆曰：尔之罪状计不容诛唯有斩送智慧可以塞责国庆，于是执送智慧斩于泉州自余支党悉来降附江南大定后迁尚书左仆射时汉王谅反帝以素为荆州道行军总管河北道安抚大使率众数万讨谅时晋绛莒三州并为谅城守素各以二千石縻之而去谅遣赵子开拥众十余万策绝径路屯据高壁布阵五十里素令诸将以兵临之自引奇兵潜入霍山缘崖谷而进直指其营一战破之杀伤数万谅所署介州刺史梁修罗屯介休闻素至惧弃城而走进至并州三十里谅率其将王世宗赵子开萧摩诃等众。且十万来拒战。又击破之擒萧摩诃谅退保并州素进兵围之谅穷蹙而降余党悉平。