苏威自高祖时拜开府仪同，兼纳言、民部尚书，复兼大理卿、京兆尹、御史大夫。治书侍御史梁毗以威领五职，而安繁恋剧，无举贤自代之心，抗表劾威。高祖曰：“苏威朝夕孜孜，志存远大，举贤有阙，何遽迫之！”顾谓威曰：“用之则行，舍之则藏，惟我与尔有是夫。”及高祖幸并州，命与高颎同总留事，俄追诣行在所，使决民讼。后为左光禄大夫。（炀帝即位，以威先朝旧臣，渐加委任，后岁余，复为纳言，与左翊卫大将军宇文述、黄门侍郎裴矩、御史大夫裴蕴、内史侍郎虞世基参掌朝政，时人称为五贵。）