韦世康初仕后周，为司会中大夫。尉迟迥之作乱，高祖忧之，谓世康曰：“汾、绛旧是周、齐分界，因此乱阶，恐生摇动，今以委公，善为吾守。”因授绛州刺史，以雅望镇之，阖境清肃。开皇中，为吏部尚书，因侍宴，再拜陈让曰：“臣无尺寸之功，位亚台铉，今犬马齿臷，不益明时，恐先朝露，无以塞责，愿乞骸骨，退避贤能。”帝曰：“朕夙夜庶几，求贤若渴，冀与公共治天下，以致太平。今之所请，深乖本望，纵令筋力衰谢，犹屈公卧治一隅。”于是出拜荆州总管。时天下唯置四大总管，并、、益三州，并亲王临统，唯荆州委于世康，时论以为美。